均方误差与总平方误差（或绝对误差）

一个潜在疑问是：如何判断应该使用均方误差还是总平方误差（或绝对误差）？

总平方误差是指每个点的误差之和，方程式为：
M=∑i=1m12(y−y^)2M = \sum_{i=1}^m\frac{1}{2}(y-\hat{y})^2M=∑i=1m21(y−y^)2

均方误差是指这些误差的平均值，方程式为：
T=∑i=1m12m(y−y^)2T = \sum_{i=1}^m\frac{1}{2m}(y-\hat{y})^2T=∑i=1m2m1(y−y^)2

其中 m是数据点的数量，

好消息是，选择哪个并不重要。可以看出，总平方误差是多个均方误差相加的结果，因为

M=mTM=mTM=mT

因此，既然导数是线性方程， T的梯度也是 m乘以 M的梯度。

但是，梯度下降步骤包括减去误差的梯度乘以学习速率α\alphaα。因此，选择均方误差还是总平方误差只是选择不同的学习速率。

在现实中，我们可以借助算法判断什么样的学习速率比较合适。因此，如果我们使用均方误差或总平方误差，算法将只是选择不同的学习速率。

均方误差与总平方误差（或绝对误差）相关推荐

神经网络的学习（训练）：损失函数（均方误差、交叉熵误差）
1 神经网络学习(训练)步骤: 初始化权值和偏置参数--1 从总训练集抽取一批数据--2 前向传播计算损失.反向传播由损失计算各参数的梯度--3 利用梯度更新参数--4 重复1.2.3 2 神经网络: ...
机器学习入门（08）— 损失函数作用和分类（均方误差、交叉熵误差）
神经网络的学习中的"学习"是指从训练数据中自动获取最优权重参数的过程. 为了使神经网络能进行学习,将导入损失函数这一指标.而学习的目的就是以该损失函数为基准,找出能使它的值达到最小 ...
PCA--主成分分析（Principal components analysis）-最小平方误差解释
最小平方误差理论假设有这样的二维样本点(红色点),回顾我们前面探讨的是求一条直线,使得样本点投影到直线上的点的方差最大.本质是求直线,那么度量直线求的好不好,不仅仅只有方差最大 ...
最小平方误差判别 MSE
最小平方误差判别准则函数对于上一节提出的不等式组: 在线性不可分的情况下,不等式组不可能同时满足.一种直观的想法就是,希望求一个a*使被错分的样本尽可能少.这种方法通过求解线性不等式组来最小化错分样 ...
统计学习方法第五章作业：ID3/C4.5算法分类决策树、平方误差二叉回归树代码实现
ID3/C4.5算法分类决策树 import numpy as np import math class Node:def __init__(self,feature_index=None,value ...
线性拟合——从最大似然估计到平方误差到huber loss
考虑这样一些数据: x = np.array([0, 3, 9, 14, 15, 19, 20, 21, 30, 35,40, 41, 42, 43, 54, 56, 67, 69, 72, 88]) ...
python mse_python 计算平均平方误差(MSE)的实例
我们要编程计算所选直线的平均平方误差(MSE), 即数据集中每个点到直线的Y方向距离的平方的平均数,表达式如下: MSE=1n∑i=1n(yi−mxi−b)2 最初麻烦的写法# TODO 实现以下函数 ...
XY的模式识别学习笔记-最小平方误差准则分类 MSE
最小平方误差准则分类 MSE 最小平方误差准则分类定义简单例题及Matlab代码实现大三数学狗,记录一下学习过程. 最小平方误差准则分类定义对线性不可分的样本集,不等式组 a T y i & ...
平方误差损失与交叉熵损失
平方误差和交叉熵是神经网络中很常用的损失函数,那么平方误差和交叉熵分别适合什么场景呢?这个问题也是算法工程师面试中的高频考点,其中不乏腾讯微信.那么在本文中,就来详细解释这两种损失函数. 平方误差这 ...
评估指标——均方误差（MSE）、平均绝对误差（MAE）
在各种机器学习比赛中都会看到MSE和MAE这两个指标,算出指标的值越小,说明模型的效果越好,为了防止下次忘记,所以有必要mark一下. 1. MSE(Mean Squared Error) 均方误差 ...

均方误差与总平方误差（或绝对误差）

均方误差与总平方误差（或绝对误差）相关推荐

最新文章

热门文章