深度学习——时间序列模型评价指标总结
大Y老师:小X,你做的这个时间序列模型用什么指标评价啊?
小X 直接把这篇甩给老师:老师您看哪个指标顺眼,就选哪个指标~
最近在实现基于深度学习的时间序列模型时,需要对模型进行评价,总结了一些常用的和不常用的评价指标,还有相关概念的辨析。
上面是玩笑话,在对模型进行评价时,要根据实际的数据特征和指标特性进行选择。
和方差
SSE(the sum of squares due to error),是观测值(observed values)与预测值(predicted values)的误差的平方和,公式为:
SSE(y,y^)=∑i=1n(yi−y^i)2SSE(y,\widehat{y})=\sum_{i=1}^{n}(y_{i}-\widehat{y}_{i})^{2} SSE(y,y)=i=1∑n(yi−yi)2
均方误差
MSE(mean squared error),是观测值(observed values)与预测值(predicted values)的误差的平方和的均值,即SSE/n。它是误差的二阶矩,包含估计量的方差(variance)及其偏差(bias),是衡量估计量质量的指标,其公式为:
MSE(y,y^)=1n∑i=1n(yi−y^i)2MSE(y,\widehat{y})=\tfrac{1}{n}\sum_{i=1}^{n}(y_{i}-\widehat{y}_{i})^{2} MSE(y,y)=n1i=1∑n(yi−yi)2
均方根误差
RMSE(root mean squared error),也称作RMSD(root mean square deviation),是MSE的算数平方根。由于每个误差(each error)对RMSD的影响与误差的平方(squared error)成正比,因此较大的误差会对RMSE影响过大,RMSE对异常值很敏感。其公式为:
RMSE(y,y^)=1n∑i=1n(yi−y^i)2RMSE(y,\widehat{y})=\sqrt{\tfrac{1}{n}\sum_{i=1}^{n}(y_{i}-\widehat{y}_{i})^{2}} RMSE(y,y)=n1i=1∑n(yi−yi)2
平均绝对值误差
MAE(mean absolute error),是时间序列分析中预测误差常用的指标,由于MAE使用的是与被测数据相同的尺度(scale),因此不能用于比较两个不同尺度的序列。MAE又被称为L1范数损失函数(就是可以做为损失函数),是真实数据与预测数据之差的绝对值的均值。
公式为:
MAE(y,y^)=1n∑i=1n∣yi−y^i∣MAE(y,\widehat{y})=\tfrac{1}{n}\sum_{i=1}^{n}\left | y_{i}-\widehat{y}_{i}\right | MAE(y,y)=n1i=1∑n∣yi−yi∣
平均绝对值百分比误差
MAPE(mean absolute percentage error),也被称为MAPD(mean absolute percentage deviation),是一种衡量预测方法的预测准确性的指标。MAPE在解释相对误差(relative error)方面非常直观,在评价模型时MAPE通常用作回归(regression)问题的损失函数(loss function)。
从式子中可以看出,在计算MAPE时如果出现一系列特别小的分母,可能会出现一些问题。比如分母为0的奇异点、较小的误差引起结果发生非常大的变化等。
解决这个问题的替代方案,可以将公式中的实际值,替换为该序列的所有实际值的平均值。这种方案等效于求绝对差的总和除以实际值的总和,也被称为加权绝对百分比误差(WAPE),或者wMAPE(weighted mean absolute percentage error)。
公式为:
MAPE(y,y^)=100%n∑i=1n∣yi−y^iyi∣MAPE(y,\widehat{y})=\tfrac{100\% \displaystyle }{n}\sum_{i=1}^{n}\left | \frac{y_{i}-\widehat{y}_{i}}{y_{i}}\right | MAPE(y,y)=n100%i=1∑n∣∣∣∣yiyi−yi∣∣∣∣
对称平均绝对百分比误差
SMAPE(symmetric mean absolute percentage error),实际值与预测值差值的绝对值除以实际值与预测值绝对值之和的一半。公式为:
SMAPE(y,y^)=100%n∑i=1n∣yi−y^∣∣∣yi∣+∣y^i∣2∣SMAPE(y,\widehat{y})=\frac{100\%}{n}\sum_{i=1}^{n}\frac{\left | y_{i}-\widehat{y}\right |}{\left | \frac{\left |y_{i} \right | + \left |\widehat{y}_{i}\right |}{2}\right |} SMAPE(y,y)=n100%i=1∑n∣∣∣2∣yi∣+∣yi∣∣∣∣∣yi−y∣
均方对数误差
MSLE(mean squared log error),公式为:
MSLE(y,y^)=1n∑i=1n(log(1+yi)−log(1+y^i))2MSLE(y,\widehat{y})=\frac{1}{n}\sum_{i=1}^{n}\left ( log(1+y_{i})-log(1+\widehat{y}_{i})\right )^{2} MSLE(y,y)=n1i=1∑n(log(1+yi)−log(1+yi))2
绝对中位差
MAD(median absolute deviation),是数据点到中位数的差值的绝对值再取中位数,MAD通常用于统计数据离差(dispersion)。对于MAD来说,少量的异常值不会影响最终结果。
公式为:
MAD(y,y^)=median(∣y1−y^1∣,...,∣yn−y^n∣)MAD(y,\widehat{y})= median(\left | y_{1} - \widehat{y}_{1}\right |,...,\left | y_{n} - \widehat{y}_{n}\right |) MAD(y,y)=median(∣y1−y1∣,...,∣yn−yn∣)
论文中常用的指标:
结构相似性
SSMI(structural similarity ),用于衡量两幅图像的相似度,公式为:
SSIM(x,y)=(2μxμy+C1)(2σxy+C2)(μx2+μy2+C1)(σx2+σy2+C2)SSIM(x,y)= \frac{(2\mu_{x}\mu_{y} + C_{1})(2\sigma_{xy} + C_{2})}{(\mu_{x}^{2}+\mu_{y}^{2}+C_{1})(\sigma _{x}^{2}+\sigma _{y}^{2}+C_{2})} SSIM(x,y)=(μx2+μy2+C1)(σx2+σy2+C2)(2μxμy+C1)(2σxy+C2)
其中x为预测图像的像素值,y为真实图像的像素值。
深度学习——时间序列模型评价指标总结相关推荐
- 【深度学习中模型评价指标汇总(混淆矩阵、recall、precision、F1、AUC面积、ROC曲线、ErrorRate)】
深度学习中模型好坏的所有评价指标汇总(混淆矩阵.recall.precision.F1score.AUC面积.ROC曲线.ErrorRate) 导航 0.混淆矩阵 1.AUC面积 2.ROC曲线 3. ...
- 【深度学习】模型评价指标
一.分类任务 分类任务一般有二分类.多分类和多标签分类. 多分类: 表示分类任务中有多个类别,但是对于每个样本有且仅有一个标签,例如一张动物图片,它只可能是猫,狗,虎等中的一种标签(二分类特指分类任务 ...
- 【20210914】【机器/深度学习】模型评价指标:精确率、召回率、特异性、敏感性、F1-score、ROC曲线、AUC
一.区分精确率.召回率和特异性.敏感性 在数据科学中,查看精确率和召回率来评估构建的模型是十分常见的.而在医学领域,通常使用特异性和敏感性来评估医学测试.这一点在兆观的论文.以及 xxx院的沟通过程中 ...
- 深度学习时间序列预测:LSTM算法构建时间序列单变量模型预测大气压( air pressure)+代码实战
深度学习时间序列预测:LSTM算法构建时间序列单变量模型预测大气压( air pressure)+代码实战 长短期记忆(Long short-term memory, LSTM)是一种特殊的RNN,主 ...
- 深度学习时间序列预测:LSTM算法构建时间序列单变量模型预测空气质量(PM2.5)+代码实战
深度学习时间序列预测:LSTM算法构建时间序列单变量模型预测空气质量(PM2.5)+代码实战 # 导入需要的包和函数: from __future__ import print_function im ...
- 深度学习常用性能评价指标
深度学习常用性能评价指标 前言 基于准确度的指标 基于排名的指标 基于图数据的指标 前言 深度学习性能指标是用于评价深度学习模型性能的依据,是设计模型的重要依据. 基于准确度的指标 对于模型而言仅统计 ...
- 【深度学习】深度学习中模型计算量(FLOPs)和参数量(Params)等的理解以及四种在python应用的计算方法总结
接下来要分别概述以下内容: 1 首先什么是参数量,什么是计算量 2 如何计算 参数量,如何统计 计算量 3 换算参数量,把他换算成我们常用的单位,比如:mb 4 对于各个经典网络,论述他们是计算量大还 ...
- 深度学习算法模型_不到5分钟的3种深度学习算法,第2部分深度顺序模型
深度学习算法模型 In the last article, we looked at models that deal with non-time-series data. Time to turn ...
- 暑期科研见习总结:移动设备上的深度学习与模型剪枝初探
本次暑期科研见习,我有机会初步了解了人工智能的深度学习和模型压缩的基本内容,并在移动设备(树莓派3B)上进行了一些简单的深度学习模型训练.在见习结束之际,总结一下这次学习的内容,也期待之后能够继续在相 ...
- 深度学习实战——模型推理优化(模型压缩与加速)
忆如完整项目/代码详见github:https://github.com/yiru1225(转载标明出处 勿白嫖 star for projects thanks) 目录 系列文章目录 一.实验思路综 ...
最新文章
- 2_vuex状态管理器
- Java进阶篇(五)——Java的I/O技术
- 嗷嗷嗷,kuangbin大大博客上拉的题
- 网易有毛病,我的账号被锁了,去解锁时候又几把提示不成功,浪费劳资感情啊
- FJUT Home_W的拆分序列(DP)题解
- 云服务器镜像麻烦吗_简单说说云服务器的镜像功能作用
- keras 多层lstm_《Keras 实现 LSTM》笔记
- python和stata_从Python运行Stata do文件
- 产品经理,你来自江湖
- ES6展开运算符(...)
- Java基础夺命连环16问
- 基于ProtocolBuffer和ysocket的Swift即时通讯服务器搭建
- 为什多很了学么营销识知依然赚不到钱?
- 【Luogu1095】守望者的逃离
- Druid 配置及内置监控,Web页面查看监控内容
- php preg replace中文,php preg_replace函数用法
- ENVI入门系列教程---二、图像分析---14.基本光谱分析
- MySQL--Centos7下安装5.7.19
- eclipserunas里没有选项_在电脑浏览器里阅读某一微信公众号所有文章
- 将图片转换成url链接
热门文章
- 能源管理系统—能源在线监测平台搭建
- AN515-43 COMPAL LA-H901P笔记本主板+小板点位图
- 大数据处理的基本流程
- 2.3、IPMP,PMP,PRINCE2
- win7录屏_win7/win10屏幕录制教程?
- 轻量级高并发物联网服务器接收程序源码
- 供配电系统自动化实训
- SRCNN论文翻译(Image Super-Resolution Using Deep Convolutional Networks)
- SRCNN 图像超分辨率重建(tf2)
- python webpy 开发文档_Python webpy微信公众号开发之 回复图文消息