利用Python进行数据分析--时间序列

转载自：http://blog.csdn.net/ssw_1990/article/details/26612573

不管在哪个领域中（如金融学、经济学、生态学、神经科学、物理学等），时间序列（time series）数据都是一种重要的结构化数据形式。在半个时间点观察或测量到的任何事物都可以形成一段时间序列。很多时间序列是固定频率的，也就是说，数据点是根据某种规律定期出现的（比如15秒、每5分钟、每月出现一次）。时间序列也可以是不定期的。时间序列数据的意义取决于具体的应用场景，主要有以下几种：

时间戳（timestamp），特定的时刻。
固定时期（period），如2007年1月或2010年全年。
时间间隔（interval），由起始和结束时间戳表示。时期（period）可以被看做间隔（interval）的特例。
实验或过程时间，每个时间点都是相对于特定起始时间的一个度量。例如，从放入烤箱时起，每秒钟饼干的直径。

许多技术都可用于处理实验型时间序列，其索引可能是一个整数或浮点数（表示从实验开始算起已经过去的时间）。最简单也最常见的时间序列都是用时间戳进行索引的。

pandas提供了一组标准的时间序列处理工具和数据算法。因此，你可以高效处理非常大的时间序列，轻松地进行切片/切块、聚合、对定期/不定期的时间序列进行重采样等。可能你已经猜到了，这些工具中大部分都对金融和经济数据尤为有用，但你当然也可以用它们来分析服务器日志数据。

说明：

scikits.timeseries库已经停止更新。

1、日期和时间数据类型及工具

Python标准库包含用于日期（date）和时间（time）数据的数据类型，而且还有日历方面的功能。我们主要会用到datetime、time以及calendar模块。datetime.datetime（也可以简写为datetime）是用得最多的数据类型：

[python] view plaincopy

In [3]: from datetime import datetime
In [4]: now = datetime.now()
In [5]: now
Out[5]: datetime.datetime(2014, 5, 22, 19, 42, 56, 744055)
In [6]: now.year, now.month, now.day
Out[6]: (2014, 5, 22)

datetime以毫秒形式存储日期和时间。datetime.timedelta表示两个datetime对象之间的时间差：

[python] view plaincopy

In [7]: delta = datetime(2011, 1, 7) -datetime(2008, 6, 24, 8, 15)
In [8]: delta
Out[8]: datetime.timedelta(926, 56700)
In [9]: delta.days
Out[9]: 926
In [10]: delta.seconds
Out[10]: 56700

可以给datetime对象加上（或减去）一个或多个timedelta，这样会产生一个新对象：

[python] view plaincopy

In [11]: from datetime import timedelta
In [12]: start = datetime(2011, 1, 7)
In [13]: start + timedelta(12)
Out[13]: datetime.datetime(2011, 1, 19, 0, 0)
In [14]: start - 2 * timedelta(12)
Out[14]: datetime.datetime(2010, 12, 14, 0, 0)

2、字符串和datetime的相互转换

利用str或strftime方法（传入一个格式化字符串），datetime对象和pandas的Timestamp对象可以被格式化为字符串：

[python] view plaincopy

In [15]: stamp = datetime(2011, 1, 3)
In [16]: str(stamp)
Out[16]: '2011-01-03 00:00:00'
In [17]: stamp.strftime('%Y-%m-%d')
Out[17]: '2011-01-03'

datetime.strptime也可以用这些格式化编码将字符串转换为日期：

[python] view plaincopy

In [18]: value = '2011-01-03'
In [19]: datetime.strptime(value, '%Y-%m-%d')
Out[19]: datetime.datetime(2011, 1, 3, 0, 0)
In [20]: datestrs = ['7/6/2011', '8/6/2011']
In [21]: [datetime.strptime(x, '%m/%d/%Y') for x in datestrs]
Out[21]: [datetime.datetime(2011, 7, 6, 0, 0), datetime.datetime(2011, 8, 6, 0, 0)]

datetime.strptime是通过已知格式进行日期解析的最佳方式。但是每次都要编写格式定义是很麻烦的事情，尤其是对于一些常见的日期格式。这种情况下，你可以用dateutil这个第三方包中的parser.parse方法：

[python] view plaincopy

In [22]: from dateutil.parser import parse
In [23]: parse('2011-01-03')
Out[23]: datetime.datetime(2011, 1, 3, 0, 0)

dateutil可以解析几乎所有人类能够理解的日期表示形式：

[python] view plaincopy

In [24]: parse('Jan 31, 1997 10:45 PM')
Out[24]: datetime.datetime(1997, 1, 31, 22, 45)

在国际通用的格式中，日通常出现在月的前面，传入dayfirst=True即可解决这个问题：

[python] view plaincopy

In [25]: parse('6/12/2011', dayfirst=True)
Out[25]: datetime.datetime(2011, 12, 6, 0, 0)

pandas通常是用于处理成组日期的，不管这些日期是DataFrame的轴索引还是列。to_datetime方法可以解析多种不同的日期表示形式。对标准日期格式（如ISO8601）的解析非常快。

[python] view plaincopy

In [26]: datestrs
Out[26]: ['7/6/2011', '8/6/2011']
In [27]: pd.to_datetime(datestrs)
Out[27]:
<class 'pandas.tseries.index.DatetimeIndex'>
[2011-07-06, 2011-08-06]
Length: 2, Freq: None, Timezone: None

它还可以处理缺失值（None、空字符串等）：

[python] view plaincopy

In [28]: idx = pd.to_datetime(datestrs + [None])
In [30]: idx
Out[30]:
<class 'pandas.tseries.index.DatetimeIndex'>
[2011-07-06, ..., NaT]
Length: 3, Freq: None, Timezone: None
In [31]: idx[2]
Out[31]: NaT
In [32]: pd.isnull(idx)
Out[32]: array([False, False, True], dtype=bool)

说明：

NaT（Not a Time）是pandas中时间戳数据的NA值。

警告：

dateutil.parser是一个实用但不完美的工具。比如，它会把一些原本不是日期的字符串认作是日期（比如“42”会被解析为2042年的今天）。

datetime对象还有一些特定于当前环境（位于不同国家或使用不同语言的系统）的格式化选项。例如，德语或法语系统所用的月份简写就与英国系统所用的不同。

利用Python进行数据分析--时间序列相关推荐

利用python进行数据分析-时间序列3
1.时期的频率转换 Period和PeriodIndex对象都可以通过其asfreq方法被转换成别的频率.假设我们有一个年度时期,希望将其转换为当年年初或年末的一个月度时期 p=pd.Period(' ...
数据基础---《利用Python进行数据分析·第2版》第11章时间序列
之前自己对于numpy和pandas是要用的时候东学一点西一点,直到看到<利用Python进行数据分析·第2版>,觉得只看这一篇就够了.非常感谢原博主的翻译和分享. 时间序列(time s ...
python数据分析视频网盘-利用Python进行数据分析视频教程云盘下载
利用Python进行数据分析视频教程内容简介本视频讲的是利用Python进行数据控制.处理.整理.分析等方面的具体细节和基本要点.同时,它也是利用Python进行科学计算的实用指南(专门针对数据密 ...
学完可以解决90%以上的数据分析问题-利用python进行数据分析第二版（代码和中文笔记）...
<利用python进行数据分析>是数据分析的基础教程,绝大部分数据分析师的入门教材,目前已经升级到第二版.本站搜集了教材的第二版原版代码进行中文翻译和注释,并做了一定的笔记.基本上只需要看 ...
用python做数据分析pdf_利用python进行数据分析pdf
利用python进行数据分析pdf微盘下载!<利用python进行数据分析>利用Python实现数据密集型应用由浅入深帮助读者解决数据分析问题~适合刚刚接触Python的分析人员以及刚刚接 ...
利用python进行数据分析之准备工作（1）
目录一.简介二.重要的python库 1.numpy库 2.pandas 3.matplotlib 4.IPython 5.Scipy 三.python环境安装和数据分析前的数据准备一.简介什 ...
541页《利用Python进行数据分析》分享(附源码下载)
1 前言今天,StrongerTang 给大家分享一下 <利用Python进行数据分析>第二版,分享给有需要的小伙伴,也希望有更多的朋友能在StrongerTang相遇. 2 简介 &l ...
利用python进行数据分析——第十四章_数据分析案例
文章目录本章中的数据文件可从下面的github仓库中下载利用python进行数据分析(第二版) 一.从Bitli获取 1.USA.gov数据 1.1纯python时区计数 1.2使用pandas进 ...
利用python进行数据分析——第13章 python建模库介绍
文章目录一.pandas与建模代码的结合二.使用patsy创建模型描述 2.1Patsy公式中的数据转换 2.2分类数据与Patsy 三.statsmodels介绍 3.1评估线性模型 3.2评估 ...

利用Python进行数据分析--时间序列

利用Python进行数据分析--时间序列相关推荐

最新文章

热门文章