MSE 损失函数

1、是什么？

均方误差（MSE）是最常用的回归损失函数，它是目标变量和预测值的差值平方和。该函数给出输入x和目标y中的每个元素之间的均方误差（squared L2 norm，平方L2范数）。它也被称为L2 Loss。

2、数学表述

上图为均方误差函数图，其中目标真值为 100，预测范围在-10000 到 10000 之间，均方误差损失（Y 轴）在预测值（X 轴）=100 处有最小值，范围为 0~∞。

主要问题：

导数变化，不稳定，尤其是在早期阶段（损失越大，导数越大），随着导数越来越小，训练速度变得越来越慢。

3、MSE 梯度消失问题

二次函数 L = ( y − y ^ ) 2 2 L=\frac{(y-\hat{y})^2}{2} L=2(y−y^)2

采用链式法则求导，则有：

∂ L ∂ w = ( y ^ − y ) σ ( z ) ′ x \frac{\partial L}{\partial w}=(\hat{y}-y){\sigma(z)}'x ∂w∂L=(y^−y)σ(z)′x
∂ L ∂ b = ( y ^ − y ) σ ( z ) ′ \frac{\partial L}{\partial b}=(\hat{y}-y){\sigma(z)}' ∂b∂L=(y^−y)σ(z)′
可以看出梯度都与sigmoid函数的梯度有关，如下图所示，sigmoid函数在两端的梯度均接近0，这导致反向传播的梯度也很小，这就这就不利于网络训练，这就是梯度消失问题。

4、用途

5、L1 vs. L2 for Computer Vision

https://atcold.github.io/pytorch-Deep-Learning/en/week11/11-1/

In making predictions when we have a lot of different y’s:

If we use MSE (L2 Loss), it results in an average of all y, which in CV it means we will have a blurry image.
If we use L1 loss, the value y that minimize the L1 distance is the medium, which is not blurry, but note that medium is difficult to define in multiple dimensions.

Using L1 results in sharper image for prediction.

参考

https://atcold.github.io/pytorch-Deep-Learning/en/week11/11-1/

【pytorch损失函数（4）】nn.MSELoss,（Mean Squared Error，MSE）均方误差（MSE）（squared L2 norm，平方L2范数）。它也被称为L2 Loss。相关推荐

Pytorch损失函数torch.nn.NLLLoss()详解
在各种深度学习框架中,我们最常用的损失函数就是交叉熵(torch.nn.CrossEntropyLoss),熵是用来描述一个系统的混乱程度,通过交叉熵我们就能够确定预测数据与真是数据之间的相近程度.交 ...
损失函数——均方误差（Mean Squared Error，MSE）
均方误差(Mean Squared Error,MSE):MSE是回归任务中常用的损失函数,它衡量模型预测值与实际值之间的平均平方误差. 具体来说,MSE的计算公式如下: 其中,n是样本数量,xi是第 ...
pytorch nn.MSELoss
1.应用 import torch import torch.nn as nnloss = nn.MSELoss() input = torch.tensor([1.0,1.0], requires_ ...
Pytorch —— 损失函数（二）
目录 5.nn.L1Loss 6.nn.MSELoss 7.nn.SmoothL1Loss 8.nn.PoissonNLLLoss 9.nn.KLDivLoss 10.nn.MarginRanking ...
Pytorch损失函数篇
点击关注我哦一篇文章带你了解pytorch中常用的损失函数 Q:什么是损失函数? 训练神经网络类似于人类的学习方式.我们将数据提供给模型,它可以预测某些内容,并告诉其预测是否正确.然后,模型纠正其错 ...
Mean squared error MSE即方差
mse = mean( (sim - obs)^2, na.rm =TRUE) 均方误差 (Mean Squared Error)均方误差 MSE是网络的性能函数,网络的均方误差,叫"Mea ...
pytorch torch.nn.MSELoss(size_average=True)（均方误差【损失函数】）Mean Squared Error（MSE）、SSE（和方差）
class torch.nn.MSELoss(size_average=True)[source] 创建一个衡量输入x(模型预测输出)和目标y之间均方误差标准. x 和 y 可以是任意形状,每个包含n ...
Pytorch 损失函数 Mean Squared Error
Pytorch的损失函数定义在torch.nn.functional下,可以直接使用. Mean Squared Error(MSE)即均方误差,常用在数值型输出上: 其中θ是网络的参数,取决于使用的 ...
【pytorch】2.9 均方差损失函数 nn.MSELoss()
均方差损失函数一般作为回归问题的损失函数,公式如下: MSE=∑i=1n(yi−yi′)2nMSE = \frac{\sum^n_{i=1}(y_i-y'_i)^2}{n} MSE=n∑i=1n( ...

【pytorch损失函数（4）】nn.MSELoss,（Mean Squared Error，MSE）均方误差（MSE）（squared L2 norm，平方L2范数）。它也被称为L2 Loss。

文章目录

MSE 损失函数

1、是什么？

2、数学表述

3、MSE 梯度消失问题

4、用途

5、L1 vs. L2 for Computer Vision

参考

【pytorch损失函数（4）】nn.MSELoss,（Mean Squared Error，MSE）均方误差（MSE）（squared L2 norm，平方L2范数）。它也被称为L2 Loss。相关推荐

最新文章

热门文章

【pytorch损失函数（4）】nn.MSELoss,（Mean Squared Error，MSE） 均方误差（MSE）（squared L2 norm，平方L2范数）。它也被称为L2 Loss。

文章目录

MSE 损失函数

1、是什么？

2、数学表述

3、MSE 梯度消失问题

4、用途

5、L1 vs. L2 for Computer Vision

参考

【pytorch损失函数（4）】nn.MSELoss,（Mean Squared Error，MSE） 均方误差（MSE）（squared L2 norm，平方L2范数）。它也被称为L2 Loss。相关推荐

最新文章

热门文章

【pytorch损失函数（4）】nn.MSELoss,（Mean Squared Error，MSE）均方误差（MSE）（squared L2 norm，平方L2范数）。它也被称为L2 Loss。

【pytorch损失函数（4）】nn.MSELoss,（Mean Squared Error，MSE）均方误差（MSE）（squared L2 norm，平方L2范数）。它也被称为L2 Loss。相关推荐