通过 Python 代码实现时间序列数据的统计学预测模型
来源 | DeepHub IMBA
封图 | CSDN 付费下载于视觉中国
在本篇中,我们将展示使用 Python 统计学模型进行时间序列数据分析。 目标是:根据两年以上的每日广告支出历史数据,提前预测两个月的广告支出金额。
原始数据:2017-01-01 到 2019-09-23 期间的每日广告支出。
数据准备:划分训练集和测试集。
df1 = data[['Date','Spend']].set_index('Date') train = df1.iloc[:933,:]test = df1.iloc[933:,:] test.shape,train.shape
测试集大小:(63,1)
;训练集大小:(933,1)
。
统计模型与统计要素
时间序列分析常用统计模型
单变量时间序列统计学模型,如:平均方法、平滑方法、有/无季节性条件的 ARIMA 模型。
多变量时间序列统计学模型,如:外生回归变量、VAR。
附加或组件模型,如:Facebook Prophet、ETS。
结构化时间序列模型,如:贝叶斯结构化时间序列模型、分层时间序列模型。
在本篇文章中,我们主要关注 SARIMA 和 Holt-winters 方法。
单变量时间序列统计学模型的关键要素
如果我们想要对时间序列数据进行上述统计学模型分析,需要进行一系列处理使得:
(1)数据均值
(2)数据方差
(3)数据自协方差
这三个指标不依赖于时间项。即时间序列数据具有平稳性。
如何明确时间序列数据是否具有平稳性?
可以从两个特征进行判断。
(1) 趋势,即均值随时间变化;
(2) 季节性,即方差随时间变化、自协方差随时间变化。
若满足以上两个条件,则时间序列数据不符合平稳性要求。
可以通过以下方法消除上述问题:
变换,如:取对数、取平方等。
平滑处理,如:移动平均等。
差分。
分解。
多项式拟合,如:拟合回归。
ARIMA:差分整合移动平均自回归模型
Autoregressive Integrated Moving Average model (ARIMA),差分整合移动平均自回归模型。ARIMA(p,d,q)
主要包含三项:
p:AR项,即自回归项(autoregression),将时间序列下一阶段描述为前一阶段数据的线性映射。
d项,即积分项(integration),时间序列的差分预处理步骤,使其满足平稳性要求
q:MA项,即移动平均项(moving average),将时间序列下一阶段描述为前一阶段数据平均过程中的残留误差的线性映射。
该模型需要指定 p d q
三项参数,并按照顺序执行。ARIMA 模型也可以用于开发 AR, MA 和 ARMA 模型。
ACF 和 PACF 图
自相关函数,autocorrelation function(ACF),描述了时间序列数据与其之后版本的相关性(如:Y(t) 与 Y(t-1) 之间的相关性)。
偏自相关函数,partial autocorrelation function(PACF),描述了各个序列的相关性。
通过 PACF 图可以确定 p
通过 ACF 图可以确定 q
SARIMA
季节性差分自回归滑动平均模型,seasonal autoregressive integrated moving averaging(SARIMA),在 ARIMA 模型的基础上进行了季节性调节。
其形式为:SARIMA(p,d,q)(P,D,Q)s
,其中P,D,Q
为季节参数,s
为时间序列周期。
案例:通过 SARIMA 预测广告支出
首先,我们建立 test_stationarity
来检查时间序列数据的平稳性。
from statsmodels.tsa.stattools import adfuller df1=df.resample('D', how=np.mean)def test_stationarity(timeseries): rolmean = timeseries.rolling(window=30).mean() rolstd = timeseries.rolling(window=30).std() plt.figure(figsize=(14,5)) sns.despine(left=True) orig = plt.plot(timeseries, color='blue',label='Original') mean = plt.plot(rolmean, color='red', label='Rolling Mean') std = plt.plot(rolstd, color='black', label = 'Rolling Std') plt.legend(loc='best'); plt.title('Rolling Mean & Standard Deviation') plt.show()print ('<Results of Dickey-Fuller Test>') dftest = adfuller(timeseries, autolag='AIC') dfoutput = pd.Series(dftest[0:4], index=['Test Statistic','p-value','#Lags Used','Number of Observations Used'])for key,value in dftest[4].items(): dfoutput['Critical Value (%s)'%key] = value print(dfoutput) test_stationarity(df1.Spend.dropna())
通过 test_stationarity
函数,可以绘制移动平均值以及标准差,并且通过 Augmented Dickey-Fuller test 输出 P 值。
对比临界值(critical value)可以看到,时间序列数据时非平稳的。
首先我们试试对数变换,能不能使数据达到平稳性要求。
可以看到,利用对数变换df1[‘log_Spend’]=np.log(df1[‘Spend’])
,时间序列在阈值为5%时满足平稳性要求。
接下来,我们试试差分操作:test_stationarity(df1[‘Spend’].diff(1).dropna())
。
显然,通过差分操作后,效果更好,时间序列在阈值为1%时满足平稳性要求。
然后,我们就可以建立 SARIMA 模型,并且预测 2019-07-23 到 2019-09-23 这两个月间每天的广告指出。
import statsmodels.api as sm fit1 = sm.tsa.statespace.SARIMAX(train.Spend, order=(7, 1, 2), seasonal_order=(0, 1, 2, 7)).fit(use_boxcox=True) test['SARIMA'] = fit1.predict(start="2019-07-23", end="2019-09-23", dynamic=True) plt.figure(figsize=(16, 8)) plt.plot(train['Spend'], label='Train') plt.plot(test['Spend'], label='Test') plt.plot(test['SARIMA'], label='SARIMA') plt.legend(loc='best') plt.show()
现在,让我们通过从 sklearn.metrics
包导入 mean_squared_error,mean_absolute_error
函数计算 mse 和 mae 来检查这个模型的性能。结果如下:
进行数据可视化:
从 mse、mae 以及预测曲线可以看出,SARIMA 模型成功预测了时间序列变化趋势和季节性特征。但是在峰值处的表现仍旧有待提高。
ETS:指数平滑法
ETS,Exponential Smoothing
由于时间序列数据随时间变化但具有一定的随机性,我们通常希望对数据进行平滑处理。为此,我们将使用 ETS 技术,通过指数方法为过去的数据分配较少的权重。同时将时间序列数据分解为趋势(T)、季节(S)和误差(E)分量。
三种常用 ETS 方法如下:
Linear:双指数平滑;
Additive:三指数平滑;
Multiplicative:三指数平滑。
Holt-Winter 季节性预测算法
Holt-winter 季节性预测算法是一种三指数平滑方法。它包含三个主要部分:水平、趋势、季节性分量。
案例:通过 Holt-Winter 季节性预测算法预测广告支出
通过 Holt-winter 季节性预测算法预测 2019-07-23 到 2019-09-23 期间的每日广告支出,代码如下:
from statsmodels.tsa.api import ExponentialSmoothing fit1 = ExponentialSmoothing(np.asarray(train['Spend']) ,seasonal_periods=7 ,trend='add', seasonal='add').fit(use_boxcox=True)test['Holt_Winter'] = fit1.forecast(len(test)) plt.figure(figsize=(16,8)) plt.plot( train['Spend'], label='Train') plt.plot(test['Spend'], label='Test') plt.plot(test['Holt_Winter'], label='Holt_Winter') plt.legend(loc='best') plt.show()
同样,我们通过 mean_squared_error,mean_absolute_error
函数查看 mse 和 mae。
可以看到,H-W 模型同样能够预测时间序列变化趋势和季节性特征。
算法对比
通过将两种算法的预测结果进行对比,可以评价哪种方法预测能力更好。
从图中可以看出,在MSE和MAE均较低的情况下,SARIMA模型的性能略优于Holt-Winter模型。尽管这两种模式都无法完美地抓住峰谷特征,但它们仍然对企业有用。根据数据,平均每月广告支出为2百万美元以上。而这两种算法的MAE大约在6000左右。换言之,对于一家平均每月广告支出为2百万美元的企业,两个月的广告支出预测误差只在6000美元左右,这是相当可观的。
结束语
在本文中,单变量预测方法在广告支出数据上表现良好。但这些方法难以组合/合并新的信号(如事件、天气)。同时这些方法对丢失数据也非常敏感,通常不能很好地预测很长一段时间。
你还想了解深度学习技术的哪些问题,戳文末评论告诉我们,就有机会获得「AI 开发者万人大会」的在线直播门票哦!
欢迎所有开发者扫描下方二维码填写《开发者与AI大调研》,只需2分钟,便可收获价值299元的「AI开发者万人大会」在线直播门票!
推荐阅读
前百度主任架构师创业,两年融资千万美元,他说AI新药研发将迎来黄金十年
北京四环堵车引发的智能交通大构想
400 多行代码!超详细中文聊天机器人开发指南 | 原力计划
三大运营商将上线 5G 消息;苹果谷歌联手,追踪 30 亿用户;jQuery 3.5.0 发布 | 极客头条
比特币当赎金,WannaRen 勒索病毒二度来袭!
你公司的虚拟机还闲着?基于 Jenkins 和 Kubernetes 的持续集成测试实践了解一下!
从 Web 1.0到Web 3.0:详析这些年互联网的发展及未来方向
-
你点的每个“在看”,我都认真当成了AI
通过 Python 代码实现时间序列数据的统计学预测模型相关推荐
- Python代码提取时间序列特征基于tsfeature
Python代码提取时间序列特征基于tsfeature 随着时间的推移,组织收集了非常大量的数据,并需要识别异常的时间序列.Python库tsfeature帮助计算每个时间序列上的特征向量,计算各种不 ...
- python游戏中调整箭头下落速度_入门 | 三行Python代码,让数据预处理速度提高2到6倍...
原标题:入门 | 三行Python代码,让数据预处理速度提高2到6倍 选自TowardsDataScience 作者:George Seif,机器之心编译 在 Python 中,我们可以找到原生的并行 ...
- 30行python代码设计_30行Python代码实现3D数据可视化
原标题:30行Python代码实现3D数据可视化 作者:潮汐 来源:Python技术 欢迎来到 编程教室~ 我们之前的文章中有讲解过不少 Matplotlib 的用法,比如: 之前我们基本都是用它来绘 ...
- 时间序列预测 | Python实现Transformer时间序列数据预测
时间序列预测 | Python实现Transformer时间序列数据预测 目录 时间序列预测 | Python实现Transformer时间序列数据预测 基本介绍 Transformer设计 Tran ...
- Python+pandas实现时间序列数据扩展案例一则
感谢山东科技大学李超老师提供应用背景. 在分析时序数据的有些场合下,可能每个月只能拿到一个数据,然而实际处理时,需要把这个数据扩展到该月的每天,且每天的数据相同. 演示代码: 某次运行结果: ---- ...
- plot参数详解python_30行Python代码实现3D数据可视化
作者:潮汐 来源:Python技术 欢迎来到编程教室~ 我们之前的文章中有讲解过不少 Matplotlib 的用法,比如: 完成这50个Matplotlib代码,你也能画出优秀的图表 25个常用Mat ...
- 就是这么流弊!三行Python代码,让数据处理速度提高2到6倍
选自TowardsDataScience 作者:George Seif 本文转自机器之心(nearhuman2014) 本文可以教你仅使用 3 行代码,大大加快数据预处理的速度. Python 是机器 ...
- python image 转成字节_就是这么牛!三行Python代码,让数据处理速度提高2到6倍
本文可以教你仅使用 3 行代码,大大加快数据预处理的速度. Python 是机器学习领域内的首选编程语言,它易于使用,也有很多出色的库来帮助你更快处理数据.但当我们面临大量数据时,一些问题就会显现-- ...
- python image 转成字节_就是这么流弊!三行Python代码,让数据处理速度提高2到6倍
选自TowardsDataScience 作者:George Seif 本文转自机器之心(nearhuman2014) 本文可以教你仅使用 3 行代码,大大加快数据预处理的速度. Python 是机器 ...
最新文章
- android studio 常量表达式错误
- php开发我的世界插件,WorldEdit/开发与API
- 【Android Protobuf 序列化】Protobuf 简介 ( Protobuf 项目简介 | Protobuf 优缺点分析 )
- Fedora 32正式版今天发布:提供官方下载地址
- Maven:mirror和repository 区别
- nios pio interrupt 的使能
- html input file name,HTML Input FileUpload name用法及代码示例
- CVE-2018-0798_微软公式编辑器漏洞分析
- iOS7官方推荐图标和图像尺寸
- java画菱形_JavaSE之绘制菱形
- HTB分层令牌桶排队规则分析
- Springcloud整合Eureka报错[TransportException: Cannot execute request on any known server.]一站式解决
- 钢铁侠材质制作——2、线条轮廓部分的制作
- python 打开excel并在屏幕上呈现_python读取excel数据,并可视化展现
- Java生成sitemap网站地图
- 扫描文件转换成word软件
- PowerDesigner画ER图详细教程
- python字符串截取规则_Python字符串截取
- Python自动化运维开发实战
- 基于强化学习的图像配准 - Image Registration: Reinforcement Learning Approaches