码迷,mamicode.com
首页 > 其他好文 > 详细

Huber Loss

时间:2020-04-05 09:22:37      阅读:64      评论:0      收藏:0      [点我收藏+]

标签:resid   table   ror   增强   ssis   表示   函数   enc   ble   

Huber Loss 是一个用于回归问题的带参损失函数, 优点是能增强平方误差损失函数(MSE, mean square error)对离群点的鲁棒性。

当预测偏差小于 δ 时,它采用平方误差,
当预测偏差大于 δ 时,采用的线性误差。

相比于最小二乘的线性回归,HuberLoss降低了对离群点的惩罚程度,所以 HuberLoss 是一种常用的鲁棒的回归损失函数。

Huber Loss 定义如下

 

Lδ(a)={12a2,δ(|a|12δ),for |a|δ,otherwise.Lδ(a)={12a2,for |a|≤δ,δ⋅(|a|−12δ),otherwise.

 

技术图片?

参数 a 通常表示 residuals,写作 y−f(x),当 a = y−f(x) 时,Huber loss 定义为:

 

Lδ(y,f(x))={12(yf(x))2,δ(|yf(x)|12δ),for |yf(x)|δotherwise.Lδ(y,f(x))={12(y−f(x))2,for |y−f(x)|≤δδ⋅(|y−f(x)|−12δ),otherwise.

 

δ 是 HuberLoss 的参数,y是真实值,f(x)是模型的预测值, 且由定义可知 Huber Loss 处处可导

Huber Loss

标签:resid   table   ror   增强   ssis   表示   函数   enc   ble   

原文地址:https://www.cnblogs.com/klausage/p/12635803.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!