前言
本篇论文主要介绍了当下用于智能电网电力负荷预测的多种DL方法，并对它们的效果进行了比较。对于RMSE的降低效果上，集成DBN和SVM的方法RMSE降低显著，达到了21.2%。此外，PDRNN方法与ARIMA方法相比有很大的降低，达到了19.2%。而使用带有k-means的CNN相比于只使用CNN，下降百分比也达到了12.3%。

负荷预测相关代码：

深入理解PyTorch中LSTM的输入和输出（从input输入到Linear输出）
PyTorch搭建LSTM实现时间序列预测（负荷预测）
PyTorch中利用LSTMCell搭建多层LSTM实现时间序列预测
PyTorch搭建LSTM实现多变量时间序列预测（负荷预测）
PyTorch搭建双向LSTM实现时间序列预测（负荷预测）
PyTorch搭建LSTM实现多变量多步长时间序列预测（一）：直接多输出
PyTorch搭建LSTM实现多变量多步长时间序列预测（二）：单步滚动预测
PyTorch搭建LSTM实现多变量多步长时间序列预测（三）：多模型单步预测
PyTorch搭建LSTM实现多变量多步长时间序列预测（四）：多模型滚动预测
PyTorch搭建LSTM实现多变量多步长时间序列预测（五）：seq2seq
PyTorch中实现LSTM多步长时间序列预测的几种方法总结（负荷预测）
PyTorch-LSTM时间序列预测中如何预测真正的未来值
PyTorch搭建LSTM实现多变量输入多变量输出时间序列预测（多任务学习）
PyTorch搭建ANN实现时间序列预测（风速预测）
PyTorch搭建CNN实现时间序列预测（风速预测）
PyTorch搭建CNN-LSTM混合模型实现多变量多步长时间序列预测（负荷预测）
PyTorch搭建Transformer实现多变量多步长时间序列预测（负荷预测）
PyTorch时间序列预测系列文章总结（代码使用方法）
TensorFlow搭建LSTM实现时间序列预测（负荷预测）
TensorFlow搭建LSTM实现多变量时间序列预测（负荷预测）
TensorFlow搭建双向LSTM实现时间序列预测（负荷预测）
TensorFlow搭建LSTM实现多变量多步长时间序列预测（一）：直接多输出
TensorFlow搭建LSTM实现多变量多步长时间序列预测（二）：单步滚动预测
TensorFlow搭建LSTM实现多变量多步长时间序列预测（三）：多模型单步预测
TensorFlow搭建LSTM实现多变量多步长时间序列预测（四）：多模型滚动预测
TensorFlow搭建LSTM实现多变量多步长时间序列预测（五）：seq2seq
TensorFlow搭建LSTM实现多变量输入多变量输出时间序列预测（多任务学习）
TensorFlow搭建ANN实现时间序列预测（风速预测）
TensorFlow搭建CNN实现时间序列预测（风速预测）
TensorFlow搭建CNN-LSTM混合模型实现多变量多步长时间序列预测（负荷预测）
PyG搭建图神经网络实现多变量输入多变量输出时间序列预测
PyTorch搭建GNN-LSTM和LSTM-GNN模型实现多变量输入多变量输出时间序列预测
PyG Temporal搭建STGCN实现多变量输入多变量输出时间序列预测

Abstract

简单来说，近十年来，深度学习在电力系统负荷预测方面应用已经十分广泛，本文主要探索了DL在电力系统和智能电网负荷预测中的不同应用，并且比较了众多方法的RMSE以及MAE，并最终发现，卷积神经网络CNN与k-means算法结合可以大大降低RMSE。

Keywords

人工神经网络（ANN）, 预测，学习(人工智能)，机器学习，智能电网。

引申：

DL入门(1)：卷积神经网络(CNN)
机器学习之K_means（附简单手写代码）

I. INTRODUCTION

深度学习也是机器学习的一种，它拥有很深的内部隐藏层，用于模仿人类内部的神经网络，使得其能像人脑一样思考。机器学习算法分为有监督学习和无监督学习，区别在于有监督学习作用于有特征的数据集，且每个特征都与标签相关联，而无监督学习作用于无标签的数据集，以便从数据集中学习到有用的属性。
简单来说，所谓监督学习（Supervised learning），是指利用一组已知类别的样本调整分类 or 回归的参数，使其达到所要求性能的过程，也称为监督训练或有教师学习。
监督学习可以理解为学生从老师那里获取知识、信息，老师提供对错指示、告知最终答案。 学生在学习过程中借助老师的提示获得经验、技能，最后对没有学习过的问题也可以做出正确解答。“老师提供对错指示”这句话很关键，它告诉我们：我们的训练样本，都是有“标准答案的”，比如分类，你在训练的时候就已经知道了它的正确类别，比如回归，你在训练的时候同样也提前知道了真实值。
监督学习要实现的目标是“对于输入数据X能预测变量Y”。这个预测可以是分类，也可以是具体的一个数值。
无监督学习的样本是没有标记的，无监督学习的最典型代表就是聚类。聚类的目的在于把相似的东西聚在一起，而我们并不关心这一类是什么。

机器学习的局限性在于高维数据学习能力的不足，而表征学习（representation learning）的目的是对复杂的原始数据化繁为简，把原始数据的无效的或者冗余的信息剔除，把有效信息进行提炼，形成特征（feature），所以这算是针对ML的一种改进。
此外，SVM在负荷预测中也有较为广泛的应用。相比于ML，DL更加复杂，在负荷预测中应用更加广泛，表1是2014 - 2016年发表的负荷预测论文中使用的DL方法的综述论文集合：

可以看到，机器学习方向有SVM和k-means参与到了预测之中，DL仍是主流。

II. Different Deep Learning Methods

这部分主要介绍了用于智能电网负荷预测的常用DL方法及其计算图，我们一个一个来看。

A. Autoencoder

自动编码器是一种无监督的数据维度压缩和数据特征表达方法。在大部分提到自动编码器的场合，压缩和解压缩的函数是通过神经网络实现的。
一个简单的自编码器结构如图1所示：

它通过编码器函数h=f(x)h=f(x)h=f(x)以及解码器函数x~=g(h)\tilde{x}=g(h)x~=g(h)来实现，自编码器算法通常用于降维、特征学习或损坏数据重建，用于这三种目的的自编码器分别被称为不完全自编码器、稀疏自编码器和去噪自编码器。
有关自编码器的详细介绍请看：DL入门(2)：自编码器(AutoEncoder)

B. Recurrent Neural Network

RNN（循环神经网络）基本用于处理时序数据，因为它有内部存储器，可以用之前的输入更新网络中每个神经元的状态。然而由于U、W、b三组权值共享，往往在处理大型时序数据时会有梯度消失的问题，造成模型失效。
有关RNN的详细介绍请看：DL入门(3)：循环神经网络（RNN）

C. LSTM

如上所说，RNN会由于梯度消失而失效，LSTM（长短期记忆网络）的提出正好解决这个问题。LSTM相比于RNN，引入了输入门i、遗忘门f、输出门o以及内部记忆单元c，图2展示了LSTM的一般结构：

遗忘门f用于控制输入x和上一层隐藏层输出h被遗忘的程度大小，输入门i用于控制输入x和当前计算的状态更新到记忆单元的程度大小，而隐藏层输出是由输出门和内部记忆单元决定的。
有关LSTM的详细介绍请看：DL入门(4)：长短期记忆网络（LSTM）

D. CNN

CNN（卷积神经网络）在视觉和音频处理、视频识别和自然语言处理中得到了广泛的应用。与RNN处理时序数据不同，CNN通常用于处理网格数据拓扑，时间序列数据的构建是一个时间间隔的一维网格，图像数据的构建是像素的二维网格。
有关卷积的详细介绍请看：DL入门(1)：卷积神经网络(CNN)

E. Restricted Boltzman Machine (RBM)

受限玻尔兹曼机(RBM)是一种无向概率图模型，RBM有两层：可见的输入层v+隐藏层h，通常RBM是堆叠的，通过增加多层隐藏层可以形成深度玻尔兹曼机（DBM），如下图所示：

F. Deep Belief Network (DBN)

深度信仰网络（DBN）相比于RBM多了几层隐藏结构，这些层使用反向传播算法进行训练，图3b显示了三层配置的DBN，两个隐藏层和一个可见层，其中最上面的两层是无定向的，但是，所有其它层之间的连接应该指向数据层。

G. Deep Boltzman Machine (DBM)

与DBN类似，DBM和RBM相比有了更多的隐藏层，但是和DBN不同的是，DBM体系结构在所有层的变量之间都有完全无定向的连接，如图3c所示。

III. REVIEW ON LOAD FORECASTING

这一节将简要概述SG中最新负荷预测问题的相关DL架构。

DL被应用于短期预测(STLF)、中期预测(MTLF)和长期预测(LTLF)。电力负荷预测受到多方面因素影响，比如时间，天气以及客户类型等，特别是对于短期预测来说更是如此。一般文献中对LTLF的研究时间间隔多为一个小时到几周，MTLF为一个月到五年，LTLF的平均使用周期为5~20年。
使用期限不同，相应地被应用到不同方面，STLF应用于实时控制、能量转移调度、经济调度和需求响应；MTLF用于规划近期的发电plan，并显示电力系统在时间间隔内的动态；LTLF用来根据规模和类型来规划发电plan，以满足未来的需求和成本效益。

自动编码器被用于电价的STLF，该作者提出用于短期预测的堆叠去噪自编码器，预测方法针对两种模型进行了在线预测和提前一天预测。结果发现，去噪自编码器有着较好的预测效果，特别是针对前一天的预测。同时，该论文将结果与经典神经网络(NN)、支持向量机(SVM)、多元自适应回归样条(MARS)和最小绝对收缩与选择算子(Lasso)等最新预测方法进行了比较。
另有一项研究将自动编码器和LSTM结合起来进行预测，并将结果与人工神经网络、LSTM和DBN等最先进的方法进行比较。将该方法应用于21个太阳能电站，其训练和测试结果的均方根误差均值(RMSE)均有所下降。
对自编码器+LSTM的方法的研究表明，该方法的RMSE为0.0713，其次是DBN的0.0714。

总结：去噪自编码器被用于短期的电价预测，针对前一天的预测有着很好的效果；另外，自编码器与LSTM结合比之一般的DL方法，RMSE也有所下降。

在大多数论文中，我们使用RMSE和平均绝对误差(MAE)来评价所提方法的性能，并将其与其他文献中的方法进行比较。其表达式如下：

其中x是测量的输入时间序列，y是预测的输出时间序列，N是时间序列的样本个数。

研究者将汇集深度循环神经网络(PDRNN) 用于家庭负荷预测，该研究表明，向神经网络添加更多层次可以提高的预测性能。研究数据来自爱尔兰的920名智能电表用户，结果与已有的负荷预测方法如ARIMA、SVR和DRNN进行了比较。与其他方法相比，该方法在均方根误差方面得到了改善，ARIMA是19.5%，SVR是13.1%，而DRNN是6.5%。
总结：往nn中添加更多层次可以提高预测性能，DRNN在对于智能电表用户的负荷预测中，相比于ARIMA以及SVR，其RMSE有了很大的提高。

在电力负荷预测中，LSTM使用也比较广泛，通常使用的有标准的LSTM算法以及基于LSTM的Seq2Seq算法。一项研究表明，标准LSTM在1小时的分辨率下成功，1分钟下却失败了；相比之下基于LSTM的Seq2Seq在两种情况下表现均不错。此外另有一项针对居民电力负荷短期预测的研究中，对于单个负荷的预测，研究人员表示LSTM优于最新的居民用电负荷预测方法。
总结：与标准LSTM相比，基于LSTM的Seq2Seq算法在更短期的预测中有着更好的预测性能。

CNN与k均值聚类的结合算是一个很好的尝试，研究人员将其用于短期预测上。K-means算法用于在一个大型的数据集上创建用于训练CNN的聚类。此研究选取的是2014年8月的夏季数据和2014年12月的冬季数据。本研究的对比结果表明，在夏季实验k-means为0.2194，冬季实验k-means为0.2399时，CNN的RMSE有很大的提高，其夏冬季的RMSE分别为0.2379和0.2839；若仅仅只是简单使用CNN，夏冬季的RMSE分别为0.2502和0.2614。此项研究表明：在聚类技术的帮助下，CNN优于其他方法。
总结：CNN和k-means结合可以显著改善预测性能。

在一项研究中，RBM在用户电力负荷预测中也有较好的表现。通过使用启发式方法来确定隐藏神经元的数量，有4个隐藏层和150个隐藏神经元。预测结果与文献中已知的黄化神经网络(SNN)、DSHW和自回归综合移动平均(ARIMA)等预测方法进行比较。与SSN相比，该方法减少了(MAPE)和(RRMS) 17%和22%，与DSHW相比，减少了9%和29%。
总结：通过启发式策略确定RBM的隐藏神经元数量，在4个隐藏层150个隐藏神经元的条件下，其预测性能相比SSN和DSHW均有所提高。

深度信念网络DBN在STLF中也有一些应用，研究人员希望利用和SVR集成的方法来提高DBN的负荷预测性能。研究人员在3个电力负荷需求数据集和3个回归数据集上应用了该方法，结果表明：SVR和DBN集成效果优于单独使用SVR、前馈NN、DBN和集成神经网络。对南澳大利亚的负荷需求预测结果显示，集成方法的RMSE为30.598，SVR为44.674，前馈NN为38.8585。
总结：与单独使用SVR、前馈NN、DBN和集成神经网络相比，DBN和SVR集成可以显著改善预测性能。

研究者提出一种用于风速预测的深度玻尔兹曼机，作者使用原始风速数据来预测短期以及长期风速。该算法被用来预测提前一小时和一天的风速，与自回归(AR)、自适应神经模糊推理系统(ANFIS)和SVR、SVM相比，该方法的性能有所提高。该方法提前10分钟的均方误差(MSE)为0.2951，对应于SVR的MSE为0.6340。提前一天预测的MSE为1.2926，相比之下SVR的MSE为1.3678，有所改善。
总结：DBM在短期以及长期风速预测方面较之SVR有显著提高。

表2比较了每篇论文中提出的方法和目前最先进的通用基准方法，显示了后一种方法相比于前一种方法RMSE的下降百分比。观察上表可以发现，与模糊神经网络相比，集成DBN和支持向量机方法的RMSE降低最显著，达到了21.2%。此外，PDRNN方法与ARIMA方法相比也有很大的降低，达到了19.2%。而使用带有k-means的CNN相比于只使用CNN，下降百分比也达到了12.3%。

IV . CONCLUSION

本文综述了应用于SG负荷预测的著名深度学习方法。这些学习算法中的大多数已经成功地进行了预测分析。但同时也有一些问题有待解决，比如预测很受负载类型、时间、天气、季节、客户行为和假期的影响。

神经网络技术广泛应用于负荷预测问题，本文重点综述了目前应用于SG负荷预测的各种DL方法的研究现状，可以总结如下：

堆叠降噪自编码器算法用于电价的STLF，其对于前一天的预测效果很好。
自动编码器和LSTM算法相结合，为可再生能源发电厂的预测提供了良好的RMSE结果。
爱尔兰智能电表的负荷预测方面，深度RNN显示出优于其他预测方法(如ARIMA、SVR)的性能。
基于LSTM的Seq2Seq在1小时分辨率下表现良好。
采用k-means的CNN对冬夏STLF有着较好的预测性能。
RBM用于客户的负荷预测，与ARIMA、DSHW和SSN相比，RBM的性能较好。
DBN和支持向量机相结合，获得了最佳的负荷预测性能。
预测DBM应用于智能电网的风速预测，在RMSE方面，与AR和SVR相比表现出了良好的性能。

原文链接：A Review of Deep Learning Methods Applied on Load Forecasting

深度学习方法在负荷预测中的应用综述（论文阅读）相关推荐

基于PMC指数模型的电力政策量化及其在负荷预测中的应用
[摘要]政策对电力系统负荷有直接的影响.为了充分挖掘政策因素与负荷之间的关系,提高负荷预测的精度,提出一种基于政策建模一致性(PMC)指数的电力政策量化方法,并将其应用到负荷预测中.首先建立电力 ...
深度学习在轨迹数据挖掘中的应用研究综述
深度学习在轨迹数据挖掘中的应用研究综述人工智能技术与咨询来源:< 计算机科学与应用> ,作者李旭娟等关键词: 深度学习:数据挖掘:轨迹挖掘:长短时记忆:序列到序列摘要: 在过去十年 ...
论文笔记（三）：深度学习在水文水资源中的应用综述
A Comprehensive Review of Deep Learning Applications in Hydrology and Water Resources 深度学习在水文水资源中的应用 ...
iMeta：哈佛刘洋彧等基于物种组合预测菌群结构的深度学习方法(全文翻译,PPT,中英视频)...
通过深度学习从物种组合中预测微生物组成 Predicting microbiome compositions from species assemblages through deep learnin ...
Survey | 深度学习方法在生物网络中的应用
作者 | 金淑婷单位 | 厦门大学今天介绍厦门大学刘向荣老师团队在Briefings in Bioinformatics上发表的一篇综述论文,该论文首先介绍了应用在网络数据上的深度学习几种典型的模 ...
Nat. Commun.速递：深度学习在计算生物学中的应用综述
来源:集智俱乐部作者:郭瑞东审校:梁金编辑:邓一雪摘要蛋白质结构预测是计算生物学中一个长达半个世纪的重大挑战,最近,深度学习在这方面取得了前所未有的进展.4月1日,一项发表在 Natur ...
深度学习在视频多目标跟踪中的应用综述
文章目录摘要 1.简介 2.MOT:算法.指标和数据集 2.1.MOT算法简介 2.2.指标经典的指标完整的MOT指标 ID 分数 2.3.基准数据集 3.MOT中的深度学习 3.1.深度学习中 ...
基于端到端深度学习方法的语音唤醒(Keyword Spotting)模型和论文
语音唤醒,即关键词检索(keyword spotting, KWS).用语音唤醒设备,让设备由休眠状态切换至工作状态. 下面主要对基于端到端的深度学习方法的语音唤醒模型总结. 模型输入为语音,输出为各 ...
基于深度学习的表面缺陷检测方法综述-论文阅读笔记
//2022.3.2日阅读笔记原文链接:基于深度学习的表面缺陷检测方法综述 (aas.net.cn) 个人对本篇综述内容的大致概括论文首先介绍了表面缺陷检测中不同场景下的成像方案,主要根据表面颜色 ...

深度学习方法在负荷预测中的应用综述（论文阅读）

目录