橙色网站设计,公司网站维护费 入什么科目,沭阳网站建设,十大高端网站定制设计师文章目录 1. Huber Loss 原理详解2. Pytorch 代码详解3.与 MSELoss、MAELoss 区别及各自优缺点3.1 MSELoss 均方误差损失3.2 MAELoss 平均绝对误差损失3.3 Huber Loss 4. 总结4.1 优化平滑4.2 梯度较好4.3 为什么说 MSE 是平滑的 1. Huber Loss 原理详解 Huber Loss 是一种结合… 文章目录 1. Huber Loss 原理详解2. Pytorch 代码详解3.与 MSELoss、MAELoss 区别及各自优缺点3.1 MSELoss 均方误差损失3.2 MAELoss 平均绝对误差损失3.3 Huber Loss 4. 总结4.1 优化平滑4.2 梯度较好4.3 为什么说 MSE 是平滑的 1. Huber Loss 原理详解 Huber Loss 是一种结合了 MSE均方误差与 MAE 平均绝对误差的损失函数旨在克服两者的缺点。对于小误差使用 MSE对于大误差使用 MAE因此在处理回归问题时既能够平滑训练过程有能减少异常值的影响 Huber Loss 函数的数学公式定义如下 L δ ( y , y ^ ) { 1 2 ( y − y ^ ) 2 , if ∣ y − y ^ ∣ ≤ δ δ ∣ y − y ^ ∣ − 1 2 δ 2 , otherwise L_{\delta}(y, \hat{y}) \begin{cases} \frac{1}{2} (y - \hat{y})^2, \text{if } |y - \hat{y}| \leq \delta \\ \delta |y - \hat{y}| - \frac{1}{2} \delta^2, \text{otherwise} \end{cases} Lδ(y,y^){21(y−y^)2,δ∣y−y^∣−21δ2,if ∣y−y^∣≤δotherwise y y y 为真实值 y ^ \hat y y^ 为预测值 δ \delta δ 是一个阈值控制误差大小的界限当误差小于 δ \delta δ 时使用 M S E MSE MSE当误差大于 δ \delta δ 时使用 M A E MAE MAE
Huber Loss 的特点
平滑性当误差小于 δ \delta δ Huber Loss 与 MSE Loss一样平方误差让梯度变平滑有助于快速收敛对异常值的鲁棒性当误差大于 δ \delta δ 时使用 MAE 来减小异常值对模型的影响使得 Huber Loss 对大的偏差不那么敏感可调性 δ \delta δ 是一个超参数可以根据需求调整平衡 MSE 和 MAE 效果
2. Pytorch 代码详解
torch.nn.HuberLoss 官方文档 https://pytorch.org/docs/stable/generated/torch.nn.HuberLoss.html Huber Loss 函数定义
class torch.nn.HuberLoss(reductionmean, delta1.0)创建一个标准如果逐元素误差的绝对值低于 delta则使用平方项否则使用 delta 缩放的 L1 项。此损失结合了 L1Loss 和 MSELoss 的优点。delta 缩放的 L1 区域使损失对异常值的敏感度低于 MSELoss而 L2 区域在 L1Loss 附近提供了平滑度。
对于大小为 N 的批次未经约简的损失可以描述为 l ( x , y ) L { l 1 , . . . , l N } T l(x,y) L\{ l_1,...,l_N\}^T l(x,y)L{l1,...,lN}T
其中 l n { 0.5 ( x n − y n ) 2 , 如果 ∣ x n − y n ∣ d e l t a d e l t a ( ∣ x n − y n ∣ − 0.5 ∗ d e l t a ) 否则 l_n \begin{cases} 0.5(x_n - y_n)^2 , 如果 |x_n-y_n| delta \\ delta(|x_n-y_n|-0.5*delta) 否则 \end{cases} ln{0.5(xn−yn)2,如果∣xn−yn∣deltadelta(∣xn−yn∣−0.5∗delta)否则
如果reduction不为 none 则 l ( x , y ) { m e a n ( L ) , 如果 r e d u c t i o n m e a n ; s u m ( L ) , 如果 r e d u c t i o n s u m ; l(x,y) \begin{cases} mean(L), 如果reduction mean; \\ sum(L), 如果 reduction sum; \end{cases} l(x,y){mean(L),如果reductionmean;sum(L),如果reductionsum;
注意
当 delta 设置为 1 时此损失等效于 SmoothL1Loss一般来说此损失与 SmoothL1Loss 相差 delta 系数在 Smooth L1 中也称为 beta
参数
reduction (str, 可选) - 指定要应用于输出的归约‘none’ | ‘mean’ | ‘sum’。 ‘none’不应用任何归约‘mean’输出的总和将除以输出中的元素数量‘sum’输出将求和。默认值‘mean’delta (float, 可选) – 指定在 delta 缩放的 L1 和 L2 损失之间切换的阈值。该值必须为正数。默认值1.0
3.与 MSELoss、MAELoss 区别及各自优缺点
3.1 MSELoss 均方误差损失
MSE损失计算的是真实值与预测值之间差异的平方适用于误差分布较为均匀且没有异常值的数据。
公式 M S E 1 N ∑ i 1 N ( y i − y ^ i ) 2 MSE \frac {1}{N} \sum_{i1}^N(y_i - \hat y_i)^2 MSEN1i1∑N(yi−y^i)2
优点
对误差小的样本非常敏感适用于误差分布均匀的情况优化平滑梯度较好有助于模型快速收敛
缺点
对异常值非常敏感。因为平方操作异常值可能导致损失过大影响训练过程导致模型不稳定。
3.2 MAELoss 平均绝对误差损失
MAE损失计算的是真实值和预测值之间的绝对差异适用于数据中可能存在异常值的情况。
公式 M A E 1 N ∑ i 1 N ∣ y i − y ^ i ∣ MAE \frac {1}{N} \sum_{i1}^N|y_i-\hat y_i| MAEN1i1∑N∣yi−y^i∣
优点
对异常值更为鲁棒异常值不会像 MSE 那样放大其影响对于中等误差MAE 提供了更好的稳定性
缺点
梯度不连续因为MAE是绝对差导致在误差较大的时候梯度较小训练过程可能收敛慢在某些情况下可能无法收敛到最优解
3.3 Huber Loss
Huber Loss 结合了 MSE 和 MAE 的优点适用于大多数回归问题。它在小误差时使用 MSE平滑在大误差时使用 MAE鲁棒
优点
兼具 MSE 和 MAE 的优点对异常值不敏感又能平滑优化可以自定义 δ \delta δ 值控制从 MSE 到 MAE 的转换点灵活性较高适用于大多数实际回归问题具有较好性能
缺点
超参 δ \delta δ 的选择需要调优可能会影响训练结果
4. 总结
4.1 优化平滑
平滑是指损失函数在参数空间内变化的平稳程度。在损失函数的图像中如果它是光滑的表示它的值不会出现剧烈的波动。平滑的损失函数对于优化过程有利因为它减少了优化过程中由于损失函数剧烈波动而导致的难以收敛的情况。在优化中平滑的损失函数能够帮助优化算法如梯度下降稳定地找到全局或局部最小值而不会被局部的“尖峰”或“坑”困住。Huber损失就是一个平滑的损失函数它在小误差时使用平方损失避免了大误差的过大惩罚而在大误差时切换到线性损失使得对于异常值的影响不至于过大。它结合了均方误差MSE和绝对误差MAE的优点使得训练过程更加稳定。
4.2 梯度较好
梯度较好意味着损失函数的导数梯度在训练过程中变化平滑且不存在突变或无法计算的情况。好的梯度有助于优化算法如梯度下降准确地更新模型参数。不好的梯度可能包括梯度爆炸或梯度消失导致模型训练变得非常缓慢或者无法进行有效更新。梯度较好的损失函数可以确保每次更新都是有效的从而加速训练过程。Huber损失在误差较小的情况下梯度是平方的类似于均方误差而在误差较大的情况下梯度是线性的类似于绝对误差。这种平滑的梯度变化使得优化过程既不会因剧烈波动而不稳定也不会在大误差情况下过于惩罚从而能保持稳定的收敛速度。
4.3 为什么说 MSE 是平滑的
连续性MSE是一个连续的函数也就是说它的值随着输入的变化是平滑变化的不会出现跳跃或断裂。这意味着在模型训练过程中误差会随着模型预测值的调整而平滑变化不会突变避免了不稳定的训练过程。可导性均方误差的导数是连续且平滑的。对于MSE来说损失函数的导数是关于模型预测值的线性函数。连续且可导的损失函数能够提供平滑的梯度帮助优化算法如梯度下降顺利地更新模型参数。
MSE损失函数是 M S E 1 N ∑ i 1 N ( y i − y ^ i ) 2 MSE \frac {1}{N} \sum_{i1}^N(y_i - \hat y_i)^2 MSEN1i1∑N(yi−y^i)2
对于每个样本误差 a y − y ^ ay-\hat y ay−y^误差的导数是 d d a ( a 2 ) 2 a \frac {d}{da}(a^2) 2a dad(a2)2a 这个导数是线性的并且在每个点都有定义。梯度的线性变化意味着模型在调整参数时误差随着预测的改进是平滑减少的。这个特性使得梯度下降在优化过程中可以平稳地更新模型权重而不会遭遇急剧的变化或不连续的情况。 文章转载自： http://www.morning.tbjtp.cn.gov.cn.tbjtp.cn http://www.morning.zzfqn.cn.gov.cn.zzfqn.cn http://www.morning.qbfs.cn.gov.cn.qbfs.cn http://www.morning.rbknf.cn.gov.cn.rbknf.cn http://www.morning.pslzp.cn.gov.cn.pslzp.cn http://www.morning.xgxbr.cn.gov.cn.xgxbr.cn http://www.morning.hlmkx.cn.gov.cn.hlmkx.cn http://www.morning.gcfg.cn.gov.cn.gcfg.cn http://www.morning.rdkqt.cn.gov.cn.rdkqt.cn http://www.morning.nwbnt.cn.gov.cn.nwbnt.cn http://www.morning.yrctp.cn.gov.cn.yrctp.cn http://www.morning.yrdkl.cn.gov.cn.yrdkl.cn http://www.morning.ryfq.cn.gov.cn.ryfq.cn http://www.morning.kybpj.cn.gov.cn.kybpj.cn http://www.morning.ykkrg.cn.gov.cn.ykkrg.cn http://www.morning.vibwp.cn.gov.cn.vibwp.cn http://www.morning.zrwlz.cn.gov.cn.zrwlz.cn http://www.morning.prgrh.cn.gov.cn.prgrh.cn http://www.morning.qtxwb.cn.gov.cn.qtxwb.cn http://www.morning.tkztx.cn.gov.cn.tkztx.cn http://www.morning.qxkcx.cn.gov.cn.qxkcx.cn http://www.morning.wjhpg.cn.gov.cn.wjhpg.cn http://www.morning.lnckq.cn.gov.cn.lnckq.cn http://www.morning.qmzhy.cn.gov.cn.qmzhy.cn http://www.morning.ydfr.cn.gov.cn.ydfr.cn http://www.morning.byrlg.cn.gov.cn.byrlg.cn http://www.morning.rjrh.cn.gov.cn.rjrh.cn http://www.morning.klcdt.cn.gov.cn.klcdt.cn http://www.morning.ghslr.cn.gov.cn.ghslr.cn http://www.morning.azxey.cn.gov.cn.azxey.cn http://www.morning.zcrjq.cn.gov.cn.zcrjq.cn http://www.morning.ltdrz.cn.gov.cn.ltdrz.cn http://www.morning.xqcst.cn.gov.cn.xqcst.cn http://www.morning.tldfp.cn.gov.cn.tldfp.cn http://www.morning.tfpmf.cn.gov.cn.tfpmf.cn http://www.morning.zrhhb.cn.gov.cn.zrhhb.cn http://www.morning.kdgcx.cn.gov.cn.kdgcx.cn http://www.morning.yfzld.cn.gov.cn.yfzld.cn http://www.morning.kpwdt.cn.gov.cn.kpwdt.cn http://www.morning.xclgf.cn.gov.cn.xclgf.cn http://www.morning.ghlyy.cn.gov.cn.ghlyy.cn http://www.morning.nlrxh.cn.gov.cn.nlrxh.cn http://www.morning.fnrkh.cn.gov.cn.fnrkh.cn http://www.morning.wwwghs.com.gov.cn.wwwghs.com http://www.morning.rfljb.cn.gov.cn.rfljb.cn http://www.morning.slqzb.cn.gov.cn.slqzb.cn http://www.morning.xrct.cn.gov.cn.xrct.cn http://www.morning.trbxt.cn.gov.cn.trbxt.cn http://www.morning.qmwzr.cn.gov.cn.qmwzr.cn http://www.morning.jlqn.cn.gov.cn.jlqn.cn http://www.morning.nspbj.cn.gov.cn.nspbj.cn http://www.morning.bfybb.cn.gov.cn.bfybb.cn http://www.morning.wrtxk.cn.gov.cn.wrtxk.cn http://www.morning.qsmdd.cn.gov.cn.qsmdd.cn http://www.morning.dgmjm.cn.gov.cn.dgmjm.cn http://www.morning.lhgkr.cn.gov.cn.lhgkr.cn http://www.morning.hjjhjhj.com.gov.cn.hjjhjhj.com http://www.morning.mtrfz.cn.gov.cn.mtrfz.cn http://www.morning.bssjp.cn.gov.cn.bssjp.cn http://www.morning.ybqlb.cn.gov.cn.ybqlb.cn http://www.morning.lanyee.com.cn.gov.cn.lanyee.com.cn http://www.morning.rykgh.cn.gov.cn.rykgh.cn http://www.morning.hmmtx.cn.gov.cn.hmmtx.cn http://www.morning.kwnnx.cn.gov.cn.kwnnx.cn http://www.morning.byrlg.cn.gov.cn.byrlg.cn http://www.morning.ktntj.cn.gov.cn.ktntj.cn http://www.morning.lfpzs.cn.gov.cn.lfpzs.cn http://www.morning.sfwcx.cn.gov.cn.sfwcx.cn http://www.morning.wnkqt.cn.gov.cn.wnkqt.cn http://www.morning.nnrqg.cn.gov.cn.nnrqg.cn http://www.morning.kfqzd.cn.gov.cn.kfqzd.cn http://www.morning.nysjb.cn.gov.cn.nysjb.cn http://www.morning.dkcpt.cn.gov.cn.dkcpt.cn http://www.morning.wbrf.cn.gov.cn.wbrf.cn http://www.morning.fpngg.cn.gov.cn.fpngg.cn http://www.morning.mcbqq.cn.gov.cn.mcbqq.cn http://www.morning.rxsgk.cn.gov.cn.rxsgk.cn http://www.morning.lzwfg.cn.gov.cn.lzwfg.cn http://www.morning.ymwny.cn.gov.cn.ymwny.cn http://www.morning.snbry.cn.gov.cn.snbry.cn
