机器学习——需求预测——准确性（误差）统计—

误差指标	公式（ ${y_{i}}'$ 为预测值， $y_{i}$ 为真实值）	特点	缺点
MAE	$MAE=\frac{1}{n}\sum_{i=1}^{n}\left \| {y_{i}}'-y_{i} \right \|$	1、直观	1、不同商品真实值量纲上的差别带来的MAE结果波动大
MSE	$MSE=\frac{1}{n}\sum_{i=1}^{n}({y_{i}}'-y_{i})^{2}$	1、加倍惩罚极端误差	1、不同商品真实值量纲上的差别带来的MSE结果波动大 2、极端值的影响 3、不够直观（平方之后含义不好解释）
MAPE	$MAPE=\frac{1}{n}\sum_{i=1}^{n}\frac{\left \| {y_{i}}'-y_{i} \right \|}{y_{i}}$	1、较为直观（真实值和预测值的差）	1、当真实值 $y_{i}$ 非常小，特别是接近0时，MAPE可能很大
WMAPE	$WMAPE=\frac{\sum_{i=1}^{n}\left \| {y_{i}}'-y_{i} \right \|}{\sum_{i=1}^{n}y_{i}}$		1、极端值带来的误差波动小

一、平均绝对误差(Mean Absolute Error，MAE)

$MAE=\frac{1}{n}\sum_{i=1}^{n}\left | {y_{i}}'-y_{i} \right |$

其中， ${y_{i}}'$ 为预测值， $y_{i}$ 为真实值。

由于 $y_{i}$ 可能存在数量级上的差别，导致相同的误差 $\left | {y_{i}}'-y_{i} \right |$ 对最后的结果产生的影响存在数量级上的差别，这在某些实际应用场景下是存在问题的。例如一件卖了10件的商品预测值在5-15之间和卖了5000件的商品预测在4995-5005的贡献的MAE是一样的，但显然两个预测的准确度差异巨大。

二、均方误差（mean squarederror，MSE）

$MSE=\frac{1}{n}\sum_{i=1}^{n}({y_{i}}'-y_{i})^{2}$

其中， ${y_{i}}'$ 为预测值， $y_{i}$ 为真实值。

对每期预测值和实际值的差值进行平方，然后再对多期差值的平方取平均值，得到平均均方误差。

平方的好处是放大极端误差：对误差进行平方，就是加倍“惩罚”那些极端误差，凸显那些极端虚高或虚低的预测值，也是我们应该重点避免的对象。选择预测方法时，要尽量避免产生大错特错、极端误差的预测模型，用均方误差来量化预测准确度，能较好地排除这样的模型。

如以下数据所示

如果按照MAPE衡量误差，移动平均法优于简单指数平滑法，因为简单指数平滑法的平均误差为0.508，而移动平均法为0.458，后者更小。但从MSE来判断，结论正好相反。

我们尝试从最原始的偏差（预测-实际）进行分析，如下图所示，移动平均法的偏差差明显比简单指数平滑法的大，表现在极端值更大，上下变动幅度更大。相反，简单指数平滑法的实际误差更小，变动幅度也更小，而且相对均匀地正负相间。显然，简单指数平滑法是个更好的方法，这跟上面均方误差得出的结论一致。

同样，MSE同MAE一样，易受数量级的影响。其对极端值进行放大的特点，也使得其对极端值放大后，更大程度的影响最后的结论。

三、平均绝对百分比误差（mean absolute percentageerror，MAPE）

$MAPE=\frac{1}{n}\sum_{i=1}^{n}\frac{\left | {y_{i}}'-y_{i} \right |}{y_{i}}$

这个值很直观，但也容易误导：当实际值非常小，特别是接近0时，这一百分比可能很大；如果实际值是0的话，分母就是0，计算没有意义。解决方案是设定上限，比如平均绝对百分比误差不超过100%。

四、加权平均绝对误差百分比（Weighted Mean Absolute Percentage Error，WMAPE）

$WMAPE=\frac{\sum_{i=1}^{n}\left | {y_{i}}'-y_{i} \right |}{\sum_{i=1}^{n}y_{i}}$

如以下数据，10个商品，根据实际值和预测值，计算的MAE、MSE、MAPE、WMAPE如下

假设商品5的实际销售变为0，则MAPE无法计算值，因为MAPE中的除数不能为0。

假设商品5由1变成2，数据波动很小，但是我们发现MAPE的值相应的却波动很大，由0.305变为0.155，MAE、MSE、WMAPE的波动却很小。

所以在实际销售预测中，尤其在我们目前大数据的背景，动则就是亿级的数据，我们尽量用WMAPE值作为准确度指标，