1. 平⽅损失函数 Square Error:
L(f(x),y)=(f(x)−y)2
这时经验风险函数是MSE，例如在线性回归中出现
2. 绝对值损失函数：
L(f(x),y)=|f(x)−y|
这时经验风险函数就是MAE
3. 0-1损失函数：
L(f(x),y)=1{f(x)≠y}
4. 对数损失函数(crossentropy)
L(P(y∣x),y)=−logP(y∣x)
对应模型：logistic回归，softmax回归
注意到，对于⾮平衡的⼆分类问题，我们也可以适当加上类的权重w(y)使其称为带权的对数损失函数:
L(P(y∣x),y)=−w(y)logP(y∣x),
例如某个⽽分类问题的训练集：D={(x1,y1),...,(xN,yn),yi∈{−1,+1}}
正例样本数P远远⼩于负例样本数{N}，我们可以适当选取w(+1),w(−1)使得w(+1)P与w(−1)N更加接近⼀些。
5.指数损失函数 Exponential loss Function:
L(f(x),y)=exp(−y⋅f(x))
对应模型：AdaBoost
我们注意到，在对数⼏率回归⼆分类模型中，事实上对数损失函数可以被指数损失函数控制：
log(1+exp(−yf(x)))≤exp(−yf(x)),
⽽指数损失函数更加便于计算和求导，于是它就适合作为AdaBoost中每⼀个弱分类器的损失函数。
6. Hinge损失函数
L(x)=[1−tx]+ 见于SVM中。
Processing math: 100%
因篇幅问题不能全部显示，请点此查看更多更全内容