MSE 均方误差及其梯度

2024-05-17 01:00:59

MSE 均方误差及其梯度

mse 表达式

M S E = 1 n ∑ i = 0 n ( y i − o i ) 2 MSE= \frac{1}{n} \sum_{i=0}^{n} (y^{i}-o^{i})^2 MSE=n1i=0∑n(yi−oi)2
其中n为输出节点数，真值为 y , 模型输出为 o

mse 对第 j 个 o 求偏导

∂ M S E ∂ o j = 1 n ∑ i = 0 n ∂ ( y i − o i ) 2 ∂ o j \frac{\partial MSE}{\partial o^j} = \frac{1}{n} \sum_{i=0}^{n} \frac{\partial (y^{i}-o^{i})^2}{\partial o^j} ∂oj∂MSE=n1i=0∑n∂oj∂(yi−oi)2
∂ M S E ∂ o j = 2 n ∑ i = 0 n ( y i − o i ) ∂ ( y i − o i ) ∂ o j \frac{\partial MSE}{\partial o^j} = \frac{2}{n} \sum_{i=0}^{n} (y^{i}-o^{i})\frac{\partial (y^{i}-o^{i})}{\partial o^j} ∂oj∂MSE=n2i=0∑n(yi−oi)∂oj∂(yi−oi)
∂ M S E ∂ o j = 2 n ∑ i = 0 n ( y i − o i ) ( − 1 ) ∂ ( o i ) ∂ o j \frac{\partial MSE}{\partial o^j} = \frac{2}{n} \sum_{i=0}^{n} (y^{i}-o^{i})(-1)\frac{\partial (o^{i})}{\partial o^j} ∂oj∂MSE=n2i=0∑n(yi−oi)(−1)∂oj∂(oi)

考虑到 ∂ ( o i ) ∂ o j \frac{\partial (o^{i})}{\partial o^j} ∂oj∂(oi)
仅当j = i 时才为 1，其它点都为 0，也就是说，偏导数只与第j号节点相关，与其它节点无关，因此上式中的求和符号可以去掉。均方误差函数的导数可以推导为：
∂ M S E ∂ o j = 2 n ( o i − y i ) \frac{\partial MSE}{\partial o^j} = \frac{2}{n} (o^{i} - y^{i}) ∂oj∂MSE=n2(oi−yi)

MSE 均方误差及其梯度相关推荐

MSE(均方误差)、MAE(平均绝对误差)
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) tensorflow 2.0 画出model网络模型的拓扑图 ...
MSE和Cross-entropy梯度更新比较
一.平方损失(MSE) Loss函数: 梯度: 由于x,y是已知的,故可以忽略掉梯度更新: sigmoid函数: 可以看出导数在z取大部分值,都是很小的,这样会使梯度更新慢． y为1或0是,当a= ...
【李沐】softmax回归-1.使用交叉熵作为损失函数而不是MSE均方误差-（意思就是为什么经过了softmax之后不用MSE） 2.softmax与sigmoid
2. 交叉熵的来源 2.1 信息量一条信息的信息量大小和它的不确定性有很大的关系.一句话如果需要很多外部信息才能确定,我们就称这句话的信息量比较大.比如你听到"云南西双版纳下雪了" ...
mse均方误差计算公式_PCA的两种解读：方差最大与均方误差最小的推导
这张图片很关键,来自统计学习方法的PCA插图又要考试了,推导一下方差最大化与均方差最小化,老师上课讲了一些均方差最小化,推导的过程很详细不过自己没有记下来,复习的时候再推一遍加深印象.感谢 @耳东陈 ...
一种更简单的求最小平方均值函数（MSE)的方法 -- 梯度下降法。
在上一篇博客中我们通过解析解法算出来了但是上面公式中的对称阵是N维乘以N维的,复杂度为O(n*n*n),虽然很精准但是很慢. 为此我们引入梯度下降法我们首先大致画出MSE的图像,MSE是一个开口向 ...
图像处理之图像质量评价指标MSE(均方误差)
一.MSE基本定义 MSE全称为"Mean Square Error",中文意思即为均方误差,是衡量图像质量的指标之一.计算原理为真实值与预测值的差值的平方然后求和再平均,公式如下 ...
【UWB】MSE 均方误差、RMSE 均方根误差
文章目录均方误差均方根误差 Ref: 均方误差在处理数据过程中,我们常需要用到均方误差(Mean Square Error, MSE).均方根误差(Root Mean Square Error, ...
线性回归-＞最小均方误差-＞梯度下降
目录 1.线性回归 2.最小均方误差(Least Mean squares) 3.梯度下降 4.批梯度下降算法(BGD) 5.随机梯度下降算法(SGD) 1.线性回归首先要明白什么是回归.回归的目的 ...
mse均方误差计算公式_视觉SLAM十四讲实践之真实轨迹和估计轨迹均方根误差
为了理解RMSE首先介绍一些统计学的概念, 然后介绍SLAM领域里面的计算精度ATE和RPE的用法. 中位数一组数据按大小顺序排列,位于最中间的一个数据 (当有偶数个数据时,为最中间两个数据的平均数 ...

最新文章

热门文章