时间序列（time series）数据是一种重要的结构化数据形式，应用于多个领域，包括金融学、经济学、生态学、神经科学、物理学等。在多个时间点观察或测量到的任何事物都可以形成一段时间序列。很多时间序列是固定频率的，也就是说，数据点是根据某种规律定期出现的（比如每15秒、每5分钟、每月出现一次）。时间序列也可以是不定期的，没有固定的时间单位或单位之间的偏移量。时间序列数据的意义取决于具体的应用场景，主要有以下几种：

时间戳（timestamp），特定的时刻。
固定时期（period），如2007年1月或2010年全年。
时间间隔（interval），由起始和结束时间戳表示。时期（period）可以被看做间隔（interval）的特例。
实验或过程时间，每个时间点都是相对于特定起始时间的一个度量。例如，从放入烤箱时起，每秒钟饼干的直径。

本章主要讲解前3种时间序列。许多技术都可用于处理实验型时间序列，其索引可能是一个整数或浮点数（表示从实验开始算起已经过去的时间）。最简单也最常见的时间序列都是用时间戳进行索引的。

提示：pandas也支持基于timedeltas的指数，它可以有效代表实验或经过的时间。这本书不涉及timedelta指数，但你可以学习pandas的文档（http://pandas.pydata.org/）。

pandas提供了许多内置的时间序列处理工具和数据算法。因此，你可以高效处理非常大的时间序列，轻松地进行切片/切块、聚合、对定期/不定期的时间序列进行重采样等。有些工具特别适合金融和经济应用，你当然也可以用它们来分析服务器日志数据。

1. 日期和时间数据类型及工具

Python标准库包含用于日期（date）和时间（time）数据的数据类型，而且还有日历方面的功能。我们主要会用到datetime、time以及calendar模块。datetime.datetime（也可以简写为datetime）是用得最多的数据类型：

from datetime import datetime
now = datetime.now()
now

datetime.datetime(2019, 7, 5, 14, 12, 33, 452916)

now.year, now.month, now.day

(2019, 7, 5)

datetime以毫秒形式存储日期和时间。

timedelta 表示两个datetime对象之间的时间差：

delta = datetime(2011, 1, 7) - datetime(2008, 6, 24, 8, 15)
delta

datetime.timedelta(926, 56700)

delta.days

926

delta.seconds

56700

可以给datetime对象加上（或减去）一个或多个timedelta，这样会产生一个新对象：

from datetime import timedelta
start = datetime(2011, 1, 7)
start + timedelta(12)

datetime.datetime(2011, 1, 19, 0, 0)

start - 2 * timedelta(12)

datetime.datetime(2010, 12, 14, 0, 0)

datetime模块中的数据类型参见表10-1。虽然本章主要讲的是pandas数据类型和高级时间序列处理，但你肯定会在Python的其他地方遇到有关datetime的数据类型。

表11-1 datetime模块中的数据类型

tzinfo 存储时区信息的基本类型

字符串和datetime的相互转换

利用str或strftime方法（传入一个格式化字符串），datetime对象和pandas的Timestamp对象（稍后就会介绍）可以被格式化为字符串：

stamp = datetime(2011, 1, 3)
str(stamp)

‘2011-01-03 00:00:00’

stamp.strftime('%Y-%m-%d')

‘2011-01-03’

表11-2列出了全部的格式化编码。

表11-2 datetime格式定义（兼容ISO C89）

datetime.strptime可以用这些格式化编码将字符串转换为日期：

value = '2011-01-03'
datetime.strptime(value, '%Y-%m-%d')

datetime.datetime(2011, 1, 3, 0, 0)

datestrs = ['7/6/2011', '8/6/2011']
[datetime.strptime(x, '%m/%d/%Y') for x in datestrs]

[datetime.datetime(2011, 7, 6, 0, 0),
datetime.datetime(2011, 8, 6, 0, 0)]

datetime.strptime是通过已知格式进行日期解析的最佳方式。但是每次都要编写格式定义是很麻烦的事情，尤其是对于一些常见的日期格式。这种情况下，你可以用 dateutil 这个第三方包中的parser.parse方法（pandas中已经自动安装好了）：

from dateutil.parser import parse
parse('2011-01-03')

datetime.datetime(2011, 1, 3, 0, 0)

dateutil 可以解析几乎所有人类能够理解的日期表示形式：

parse('Jan 31, 1997 10:45 PM')

datetime.datetime(1997, 1, 31, 22, 45)

在国际通用的格式中，日出现在月的前面很普遍，传入dayfirst=True即可解决这个问题：

parse('6/12/2011', dayfirst=True)

datetime.datetime(2011, 12, 6, 0, 0)

pandas 通常是用于处理成组日期的，不管这些日期是DataFrame的轴索引还是列。to_datetime 方法可以解析多种不同的日期表示形式。对标准日期格式（如ISO8601）的解析非常快：

datestrs = ['2011-07-06 12:00:00', '2011-08-06 00:00:00']
pd.to_datetime(datestrs)

DatetimeIndex([‘2011-07-06 12:00:00’, ‘2011-08-06 00:00:00’], dtype=‘dat
etime64[ns]’, freq=None)

它还可以处理缺失值（None、空字符串等）：

idx = pd.to_datetime(datestrs + [None])
idx

DatetimeIndex([‘2011-07-06 12:00:00’, ‘2011-08-06 00:00:00’, ‘NaT’], dty
pe=‘datetime64[ns]’, freq=None)

idx[2]

NaT

pd.isnull(idx)

array([False, False, True], dtype=bool)

NaT（Not a Time）是pandas中时间戳数据的null值。

注意：dateutil.parser是一个实用但不完美的工具。比如说，它会把一些原本不是日期的字符串认作是日期（比如"42"会被解析为2042年的今天）。

datetime对象还有一些特定于当前环境（位于不同国家或使用不同语言的系统）的格式化选项。例如，德语或法语系统所用的月份简写就与英语系统所用的不同。表11-3进行了总结。

表11-3 特定于当前环境的日期格式

2. 时间序列基础

pandas最基本的时间序列类型就是以时间戳（通常以Python字符串或datatime对象表示）为索引的Series：

from datetime import datetime
dates = [datetime(2011, 1, 2), datetime(2011, 1, 5),datetime(2011, 1, 7), datetime(2011, 1, 8),datetime(2011, 1, 10), datetime(2011, 1, 12)]ts = pd.Series(np.random.randn(6), index=dates)
ts

2011-01-02 -0.204708
2011-01-05 0.478943
2011-01-07 -0.519439
2011-01-08 -0.555730
2011-01-10 1.965781
2011-01-12 1.393406
dtype: float64

这些datetime对象实际上是被放在一个 DatetimeIndex 中的：

ts.index

DatetimeIndex([‘2011-01-02’, ‘2011-01-05’, ‘2011-01-07’, ‘2011-01-08’,
‘2011-01-10’, ‘2011-01-12’],
dtype=‘datetime64[ns]’, freq=None）

跟其他Series一样，不同索引的时间序列之间的算术运算会自动按日期对齐：

ts + ts[::2]

2011-01-02 -0.409415
2011-01-05 NaN
2011-01-07 -1.038877
2011-01-08 NaN
2011-01-10 3.931561
2011-01-12 NaN
dtype: float64

ts[::2] 是每隔两个取一个。

pandas用NumPy的datetime64数据类型以纳秒形式存储时间戳：

ts.index.dtype

dtype(’<M8[ns]’)

DatetimeIndex中的各个标量值是pandas的 Timestamp 对象：

stamp = ts.index[0]
stamp

Timestamp(‘2011-01-02 00:00:00’)

只要有需要，TimeStamp可以随时自动转换为datetime对象。此外，它还可以存储频率信息（如果有的话），且知道如何执行时区转换以及其他操作。稍后将对此进行详细讲解。

索引、选取、子集构造

当你根据标签索引选取数据时，时间序列和其它的pandas.Series很像：

stamp = ts.index[2]
ts[stamp]

-0.51943871505673811

还有一种更为方便的用法：传入一个可以被解释为日期的字符串：

ts['1/10/2011']

1.9657805725027142

ts['20110110']

1.9657805725027142

对于较长的时间序列，只需传入“年”或“年月”即可轻松选取数据的切片：

longer_ts = pd.Series(np.random.randn(1000),index=pd.date_range('1/1/2000', periods=1000))longer_ts

2000-01-01 0.092908
2000-01-02 0.281746
2000-01-03 0.769023
2000-01-04 1.246435
2000-01-05 1.007189
…
2002-09-22 0.930944
2002-09-23 -0.811676
2002-09-24 -1.830156
2002-09-25 -0.138730
2002-09-26 0.334088
Freq: D, Length: 1000, dtype: float64

longer_ts['2001']

2001-01-01 1.599534
2001-01-02 0.474071
2001-01-03 0.151326
2001-01-04 -0.542173
2001-01-05 -0.475496
…
2001-12-26 1.129120
2001-12-27 0.057874
2001-12-28 -0.433739
2001-12-29 0.092698
2001-12-30 -1.397820
2001-12-31 1.457823
Freq: D, Length: 365, dtype: float64

这里，字符串“2001”被解释成年，并根据它选取时间区间。指定月也同样奏效：

longer_ts['2001-05']

2001-05-01 -0.622547
2001-05-02 0.936289
2001-05-03 0.750018
2001-05-04 -0.056715
2001-05-05 2.300675
…
2001-05-26 0.545680
2001-05-27 0.235477
2001-05-28 0.111835
2001-05-29 -1.251504
2001-05-30 -2.949343
2001-05-31 0.634634
Freq: D, Length: 31, dtype: float64

datetime对象也可以进行切片：

ts[datetime(2011, 1, 7): ]

2011-01-07 -0.519439
2011-01-08 -0.555730
2011-01-10 1.965781
2011-01-12 1.393406
dtype: float64

由于大部分时间序列数据都是按照时间先后排序的，因此你也可以用不存在于该时间序列中的时间戳对其进行切片（即范围查询）：

ts

2011-01-02 -0.204708
2011-01-05 0.478943
2011-01-07 -0.519439
2011-01-08 -0.555730
2011-01-10 1.965781
2011-01-12 1.393406
dtype: float64

ts['1/6/2011':'1/11/2011']

2011-01-07 -0.519439
2011-01-08 -0.555730
2011-01-10 1.965781
dtype: float64

跟之前一样，你可以传入字符串日期、datetime或Timestamp。注意，这样切片所产生的是源时间序列的视图，跟NumPy数组的切片运算是一样的。

这意味着，没有数据被复制，对切片进行修改会反映到原始数据上。

此外，还有一个等价的实例方法也可以截取两个日期之间TimeSeries：

ts.truncate(after='1/9/2011')

2011-01-02 -0.204708
2011-01-05 0.478943
2011-01-07 -0.519439
2011-01-08 -0.555730
dtype: float64

这些操作对DataFrame也有效。例如，对DataFrame的行进行索引：

dates = pd.date_range('1/1/2000', periods=100, freq='W-WED')
long_df = pd.DataFrame(np.random.randn(100, 4),index=dates,columns=['Colorado', 'Texas', 'New York', 'Ohio'])long_df.loc['5-2001']

带有重复索引的时间序列

在某些应用场景中，可能会存在多个观测数据落在同一个时间点上的情况。下面就是一个例子：

dates = pd.DatetimeIndex(['1/1/2000', '1/2/2000', '1/2/2000','1/2/2000', '1/3/2000'])
dup_ts = pd.Series(np.arange(5), index=dates)dup_ts

2000-01-01 0
2000-01-02 1
2000-01-02 2
2000-01-02 3
2000-01-03 4
dtype: int64

通过检查索引的is_unique属性，我们就可以知道它是不是唯一的：

dup_ts.index.is_unique

False

对这个时间序列进行索引，要么产生标量值，要么产生切片，具体要看所选的时间点是否重复：

dup_ts['1/3/2000']  # not duplicated

dup_ts['1/2/2000']  # duplicated

2000-01-02 1
2000-01-02 2
2000-01-02 3
dtype: int64

假设你想要对具有非唯一时间戳的数据进行聚合。一个办法是使用groupby，并传入level=0：

grouped = dup_ts.groupby(level=0)
grouped.mean()

2000-01-01 0
2000-01-02 2
2000-01-03 4
dtype: int64

grouped.count()

2000-01-01 1
2000-01-02 3
2000-01-03 1
dtype: int64

11.3 日期的范围、频率以及移动

pandas中的原生时间序列一般被认为是不规则的，也就是说，它们没有固定的频率。对于大部分应用程序而言，这是无所谓的。但是，它常常需要以某种相对固定的频率进行分析，比如每日、每月、每15分钟等（这样自然会在时间序列中引入缺失值）。幸运的是，pandas有一整套标准时间序列频率以及用于重采样、频率推断、生成固定频率日期范围的工具。例如，我们可以将之前那个时间序列转换为一个具有固定频率（每日）的时间序列，只需调用resample即可：

ts

2011-01-02 -0.204708
2011-01-05 0.478943
2011-01-07 -0.519439
2011-01-08 -0.555730
2011-01-10 1.965781
2011-01-12 1.393406
dtype: float64

resampler = ts.resample('D')

DatetimeIndexResampler [freq=< Day >, axis=0, closed=left, label=left, convention=start, base=0]

字符串“D”是每天的意思。
频率的转换（或重采样）是一个比较大的主题，稍后将专门用一节来进行讨论（11.6小节）。这里，我将告诉你如何使用基本的频率和它的倍数。

生成日期范围

虽然我之前用的时候没有明说，但你可能已经猜到pandas.date_range可用于根据指定的频率生成指定长度的DatetimeIndex：

index = pd.date_range('2012-04-01', '2012-06-01')
index

DatetimeIndex([‘2012-04-01’, ‘2012-04-02’, ‘2012-04-03’, ‘2012-04-04’,
‘2012-04-05’, ‘2012-04-06’, ‘2012-04-07’, ‘2012-04-08’,
‘2012-04-09’, ‘2012-04-10’, ‘2012-04-11’, ‘2012-04-12’,
‘2012-04-13’, ‘2012-04-14’, ‘2012-04-15’, ‘2012-04-16’,
‘2012-04-17’, ‘2012-04-18’, ‘2012-04-19’, ‘2012-04-20’,
‘2012-04-21’, ‘2012-04-22’, ‘2012-04-23’, ‘2012-04-24’,
‘2012-04-25’, ‘2012-04-26’, ‘2012-04-27’, ‘2012-04-28’,
‘2012-04-29’, ‘2012-04-30’, ‘2012-05-01’, ‘2012-05-02’,
‘2012-05-03’, ‘2012-05-04’, ‘2012-05-05’, ‘2012-05-06’,
‘2012-05-07’, ‘2012-05-08’, ‘2012-05-09’, ‘2012-05-10’,
‘2012-05-11’, ‘2012-05-12’, ‘2012-05-13’, ‘2012-05-14’,
‘2012-05-15’, ‘2012-05-16’, ‘2012-05-17’, ‘2012-05-18’,
‘2012-05-19’, ‘2012-05-20’, ‘2012-05-21’, ‘2012-05-22’,
‘2012-05-23’, ‘2012-05-24’, ‘2012-05-25’, ‘2012-05-26’,
‘2012-05-27’, ‘2012-05-28’, ‘2012-05-29’, ‘2012-05-30’,
‘2012-05-31’, ‘2012-06-01’],
dtype=‘datetime64[ns]’, freq=‘D’)

默认情况下，date_range会产生按天计算的时间点。如果只传入起始或结束日期，那就还得传入一个表示一段时间的数字：

pd.date_range(start='2012-04-01', periods=20)

pd.date_range(end='2012-06-01', periods=20)

DatetimeIndex([‘2012-05-13’, ‘2012-05-14’, ‘2012-05-15’, ‘2012-05-16’,
‘2012-05-17’, ‘2012-05-18’, ‘2012-05-19’, ‘2012-05-20’,
‘2012-05-21’, ‘2012-05-22’, ‘2012-05-23’, ‘2012-05-24’,
‘2012-05-25’, ‘2012-05-26’, ‘2012-05-27’,‘2012-05-28’,
‘2012-05-29’, ‘2012-05-30’, ‘2012-05-31’, ‘2012-06-01’],
dtype=‘datetime64[ns]’, freq=‘D’)

起始和结束日期定义了日期索引的严格边界。例如，如果你想要生成一个由每月最后一个工作日组成的日期索引，可以传入"BM"频率（表示business end of month，表11-4是频率列表），这样就只会包含时间间隔内（或刚好在边界上的）符合频率要求的日期：
In [78]: pd.date_range(‘2000-01-01’, ‘2000-12-01’, freq=‘BM’)
Out[78]:
DatetimeIndex([‘2000-01-31’, ‘2000-02-29’, ‘2000-03-31’, ‘2000-04-28’,
‘2000-05-31’, ‘2000-06-30’, ‘2000-07-31’, ‘2000-08-31’,
‘2000-09-29’, ‘2000-10-31’, ‘2000-11-30’],
dtype=‘datetime64[ns]’, freq=‘BM’)

表11-4 基本的时间序列频率（不完整）

date_range默认会保留起始和结束时间戳的时间信息（如果有的话）：

pd.date_range('2012-05-02 12:56:31', periods=5)

DatetimeIndex([‘2012-05-02 12:56:31’, ‘2012-05-03 12:56:31’,
‘2012-05-04 12:56:31’, ‘2012-05-05 12:56:31’,
‘2012-05-06 12:56:31’],
dtype=‘datetime64[ns]’, freq=‘D’)

有时，虽然起始和结束日期带有时间信息，但你希望产生一组被规范化（normalize）到午夜的时间戳。normalize选项即可实现该功能：

pd.date_range('2012-05-02 12:56:31', periods=5, normalize=True)

DatetimeIndex([‘2012-05-02’, ‘2012-05-03’, ‘2012-05-04’, ‘2012-05-05’,
‘2012-05-06’], dtype=‘datetime64[ns]’, freq=‘D’)

频率和日期偏移量

pandas中的频率是由一个基础频率（base frequency）和一个乘数组成的。基础频率通常以一个字符串别名表示，比如"M"表示每月，"H"表示每小时。对于每个基础频率，都有一个被称为日期偏移量（date offset）的对象与之对应。例如，按小时计算的频率可以用Hour类表示：

from pandas.tseries.offsets import Hour, Minute
hour = Hour()
hour

Out[83]: < Hour >

传入一个整数即可定义偏移量的倍数：

four_hours = Hour(4)
four_hours

Out[85]: <4 * Hours>

一般来说，无需明确创建这样的对象，只需使用诸如"H"或"4H"这样的字符串别名即可。在基础频率前面放上一个整数即可创建倍数：

pd.date_range('2000-01-01', '2000-01-03 23:59', freq='4h')

DatetimeIndex([‘2000-01-01 00:00:00’, ‘2000-01-01 04:00:00’,
‘2000-01-01 08:00:00’, ‘2000-01-01 12:00:00’,
‘2000-01-01 16:00:00’, ‘2000-01-01 20:00:00’,
‘2000-01-02 00:00:00’, ‘2000-01-02 04:00:00’,
‘2000-01-02 08:00:00’, ‘2000-01-02 12:00:00’,
‘2000-01-02 16:00:00’, ‘2000-01-02 20:00:00’,
‘2000-01-03 00:00:00’, ‘2000-01-03 04:00:00’,
‘2000-01-03 08:00:00’, ‘2000-01-03 12:00:00’,
‘2000-01-03 16:00:00’, ‘2000-01-03 20:00:00’],
dtype=‘datetime64[ns]’, freq=‘4H’)

大部分偏移量对象都可通过加法进行连接：

In [87]: Hour(2) + Minute(30)
Out[87]: <150 * Minutes>

同理，你也可以传入频率字符串（如"2h30min"），这种字符串可以被高效地解析为等效的表达式：

pd.date_range('2000-01-01', periods=10, freq='1h30min')

DatetimeIndex([‘2000-01-01 00:00:00’, ‘2000-01-01 01:30:00’,
‘2000-01-01 03:00:00’, ‘2000-01-01 04:30:00’,
‘2000-01-01 06:00:00’, ‘2000-01-01 07:30:00’,
‘2000-01-01 09:00:00’, ‘2000-01-01 10:30:00’,
‘2000-01-01 12:00:00’, ‘2000-01-01 13:30:00’],
dtype=‘datetime64[ns]’, freq=‘90T’)

有些频率所描述的时间点并不是均匀分隔的。例如，“M”（日历月末）和"BM"（每月最后一个工作日）就取决于每月的天数，对于后者，还要考虑月末是不是周末。由于没有更好的术语，我将这些称为锚点偏移量（anchored offset）。
表11-4（见上）列出了pandas中的频率代码和日期偏移量类。

笔记：用户可以根据实际需求自定义一些频率类以便提供pandas所没有的日期逻辑，但具体的细节超出了本书的范围。

WOM日期

WOM（Week Of Month）是一种非常实用的频率类，它以WOM开头。它使你能获得诸如“每月第3个星期五”之类的日期：

rng = pd.date_range('2012-01-01', '2012-09-01', freq='WOM-3FRI')
list(rng)

Out[90]:
[Timestamp(‘2012-01-20 00:00:00’, freq=‘WOM-3FRI’),
Timestamp(‘2012-02-17 00:00:00’, freq=‘WOM-3FRI’),
Timestamp(‘2012-03-16 00:00:00’, freq=‘WOM-3FRI’),
Timestamp(‘2012-04-20 00:00:00’, freq=‘WOM-3FRI’),
Timestamp(‘2012-05-18 00:00:00’, freq=‘WOM-3FRI’),
Timestamp(‘2012-06-15 00:00:00’, freq=‘WOM-3FRI’),
Timestamp(‘2012-07-20 00:00:00’, freq=‘WOM-3FRI’),
Timestamp(‘2012-08-17 00:00:00’, freq=‘WOM-3FRI’)]

移动（超前和滞后）数据

移动（shifting）指的是沿着时间轴将数据前移或后移。Series和DataFrame都有一个shift方法用于执行单纯的前移或后移操作，保持索引不变：

ts = pd.Series(np.random.randn(4),index=pd.date_range('1/1/2000', periods=4, freq='M'))ts

Out[92]:
2000-01-31 -0.066748
2000-02-29 0.838639
2000-03-31 -0.117388
2000-04-30 -0.517795
Freq: M, dtype: float64

ts.shift(2)

Out[93]:
2000-01-31 NaN
2000-02-29 NaN
2000-03-31 -0.066748
2000-04-30 0.838639
Freq: M, dtype: float64

ts.shift(-2)

Out[94]:
2000-01-31 -0.117388
2000-02-29 -0.517795
2000-03-31 NaN
2000-04-30 NaN
Freq: M, dtype: float64

当我们这样进行移动时，就会在时间序列的前面或后面产生缺失数据。

shift通常用于计算一个时间序列或多个时间序列（如DataFrame的列）中的百分比变化。可以这样表达：

ts / ts.shift(1) - 1

由于单纯的移位操作不会修改索引，所以部分数据会被丢弃。因此，如果频率已知，则可以将其传给shift以便实现对时间戳进行位移而不是对数据进行简单位移：

ts.shift(2, freq='M')

Out[95]:
2000-03-31 -0.066748
2000-04-30 0.838639
2000-05-31 -0.117388
2000-06-30 -0.517795
Freq: M, dtype: float64

这里还可以使用其他频率，于是你就能非常灵活地对数据进行超前和滞后处理了：

ts.shift(3, freq='D')

Out[96]:
2000-02-03 -0.066748
2000-03-03 0.838639
2000-04-03 -0.117388
2000-05-03 -0.517795
dtype: float64

ts.shift(1, freq='90T')

Out[97]:
2000-01-31 01:30:00 -0.066748
2000-02-29 01:30:00 0.838639
2000-03-31 01:30:00 -0.117388
2000-04-30 01:30:00 -0.517795
Freq: M, dtype: float64

通过偏移量对日期进行位移

pandas的日期偏移量还可以用在datetime或Timestamp对象上：

from pandas.tseries.offsets import Day, MonthEnd
now = datetime(2011, 11, 17)
now + 3 * Day()

Out[100]:
Timestamp(‘2011-11-20 00:00:00’)

如果加的是锚点偏移量（比如MonthEnd），第一次增量会将原日期向前滚动到符合频率规则的下一个日期：

now + MonthEnd()

Out[101]: Timestamp(‘2011-11-30 00:00:00’)

now + MonthEnd(2)

Out[102]: Timestamp(‘2011-12-31 00:00:00’)

通过锚点偏移量的rollforward和rollback方法，可明确地将日期向前或向后“滚动”：

In [103]: offset = MonthEnd()
In [104]: offset.rollforward(now)
Out[104]: Timestamp('2011-11-30 00:00:00')In [105]: offset.rollback(now)
Out[105]: Timestamp('2011-10-31 00:00:00')

日期偏移量还有一个巧妙的用法，即结合groupby使用这两个“滚动”方法：

ts = pd.Series(np.random.randn(20),index=pd.date_range('1/15/2000', periods=20, freq='4d'))ts

Out[107]:
2000-01-15 -0.116696
2000-01-19 2.389645
2000-01-23 -0.932454
2000-01-27 -0.229331
2000-01-31 -1.140330
2000-02-04 0.439920
2000-02-08 -0.823758
2000-02-12 -0.520930
…
2000-03-07 0.131678
2000-03-11 -1.297459
2000-03-15 0.997747
2000-03-19 0.870955
2000-03-23 -0.991253
2000-03-27 0.151699
2000-03-31 1.266151
Freq: 4D, dtype: float64

ts.groupby(offset.rollforward).mean()
# offset在前面已经赋值为MonthEnd()方法
# offset.rollforward 整体是一个函数，这个函数会默认作用于ts的序列，
# 并将返回结果传给groupby 用于分组。

Out[108]:
2000-01-31 -0.005833
2000-02-29 0.015894
2000-03-31 0.150209
dtype: float64

当然，更简单、更快速地实现该功能的办法是使用resample（11.6小节将对此进行详细介绍）：

ts.resample('M').mean()

Out[109]:
2000-01-31 -0.005833
2000-02-29 0.015894
2000-03-31 0.150209
Freq: M, dtype: float64

4 时区处理（略）

.
.

5 时期及其算术运算

时期（period）表示的是时间区间，比如数日、数月、数季、数年等。Period类所表示的就是这种数据类型，其构造函数需要用到一个字符串或整数，以及表11-4中的频率：

p = pd.Period(2007, freq='A-DEC')
p

Out[150]: Period(‘2007’, ‘A-DEC’)

这里，这个Period对象表示的是从2007年1月1日到2007年12月31日之间的整段时间。只需对Period对象加上或减去一个整数即可达到根据其频率进行位移的效果：

In [151]: p + 5
Out[151]: Period('2012', 'A-DEC')In [152]: p - 2
Out[152]: Period('2005', 'A-DEC')

如果两个Period对象拥有相同的频率，则它们的差就是它们之间的单位数量：

In [153]: pd.Period('2014', freq='A-DEC') - p
Out[153]: 7

period_range函数可用于创建规则的时期范围：

In [154]: rng = pd.period_range('2000-01-01', '2000-06-30', freq='M')
In [155]: rng

Out[155]: PeriodIndex([‘2000-01’, ‘2000-02’, ‘2000-03’, ‘2000-04’, ‘2000-05’, ‘20
00-06’], dtype=‘period[M]’, freq=‘M’)

PeriodIndex类保存了一组Period，它可以在任何pandas数据结构中被用作轴索引：

In [156]: pd.Series(np.random.randn(6), index=rng)

Out[156]:
2000-01 -0.514551
2000-02 -0.559782
2000-03 -0.783408
2000-04 -1.797685
2000-05 -0.172670
2000-06 0.680215
Freq: M, dtype: float64

如果你有一个字符串数组，你也可以使用PeriodIndex类：

In [157]: values = ['2001Q3', '2002Q2', '2003Q1']
In [158]: index = pd.PeriodIndex(values, freq='Q-DEC')
In [159]: index

Out[159]: PeriodIndex([‘2001Q3’, ‘2002Q2’, ‘2003Q1’], dtype=‘period[Q-DEC]’, freq
=‘Q-DEC’)

时期的频率转换

Period和PeriodIndex对象都可以通过其asfreq方法被转换成别的频率。假设我们有一个年度时期，希望将其转换为当年年初或年末的一个月度时期。该任务非常简单：

p = pd.Period('2007', freq='A-DEC')
p

Out[161]: Period(‘2007’, ‘A-DEC’)

p.asfreq('M', how='start')

Out[162]: Period(‘2007-01’, ‘M’)

In [163]: p.asfreq(‘M’, how=‘end’)
Out[163]: Period(‘2007-12’, ‘M’)

你可以将Period(‘2007’,‘A-DEC’)看做一个被划分为多个月度时期的时间段中的游标。图11-1对此进行了说明。对于一个不以12月结束的财政年度，月度子时期的归属情况就不一样了：
In [164]: p = pd.Period(‘2007’, freq=‘A-JUN’)

In [165]: p
Out[165]: Period(‘2007’, ‘A-JUN’)

In [166]: p.asfreq(‘M’, ‘start’)
Out[166]: Period(‘2006-07’, ‘M’)

In [167]: p.asfreq(‘M’, ‘end’)
Out[167]: Period(‘2007-06’, ‘M’)

图11-1 Period频率转换示例

在将高频率转换为低频率时，超时期（superperiod）是由子时期（subperiod）所属的位置决定的。例如，在A-JUN频率中，月份“2007年8月”实际上是属于周期“2008年”的：
In [168]: p = pd.Period(‘Aug-2007’, ‘M’)

In [169]: p.asfreq(‘A-JUN’)
Out[169]: Period(‘2008’, ‘A-JUN’)

完整的PeriodIndex或TimeSeries的频率转换方式也是如此：
In [170]: rng = pd.period_range(‘2006’, ‘2009’, freq=‘A-DEC’)

In [171]: ts = pd.Series(np.random.randn(len(rng)), index=rng)

In [172]: ts
Out[172]:
2006 1.607578
2007 0.200381
2008 -0.834068
2009 -0.302988
Freq: A-DEC, dtype: float64

In [173]: ts.asfreq(‘M’, how=‘start’)
Out[173]:
2006-01 1.607578
2007-01 0.200381
2008-01 -0.834068
2009-01 -0.302988
Freq: M, dtype: float64

这里，根据年度时期的第一个月，每年的时期被取代为每月的时期。如果我们想要每年的最后一个工作日，我们可以使用“B”频率，并指明想要该时期的末尾：
In [174]: ts.asfreq(‘B’, how=‘end’)

Out[174]:
2006-12-29 1.607578
2007-12-31 0.200381
2008-12-31 -0.834068
2009-12-31 -0.302988
Freq: B, dtype: float64

按季度计算的时期频率
季度型数据在会计、金融等领域中很常见。许多季度型数据都会涉及“财年末”的概念，通常是一年12个月中某月的最后一个日历日或工作日。就这一点来说，时期"2012Q4"根据财年末的不同会有不同的含义。pandas支持12种可能的季度型频率，即Q-JAN到Q-DEC：
In [175]: p = pd.Period(‘2012Q4’, freq=‘Q-JAN’)

In [176]: p
Out[176]: Period(‘2012Q4’, ‘Q-JAN’)

在以1月结束的财年中，2012Q4是从11月到1月（将其转换为日型频率就明白了）。图11-2对此进行了说明：
In [177]: p.asfreq(‘D’, ‘start’)
Out[177]: Period(‘2011-11-01’, ‘D’)

In [178]: p.asfreq(‘D’, ‘end’)
Out[178]: Period(‘2012-01-31’, ‘D’)

图11.2 不同季度型频率之间的转换

因此，Period之间的算术运算会非常简单。例如，要获取该季度倒数第二个工作日下午4点的时间戳，你可以这样：
In [179]: p4pm = (p.asfreq(‘B’, ‘e’) - 1).asfreq(‘T’, ‘s’) + 16 * 60

In [180]: p4pm
Out[180]: Period(‘2012-01-30 16:00’, ‘T’)

In [181]: p4pm.to_timestamp()
Out[181]: Timestamp(‘2012-01-30 16:00:00’)

period_range可用于生成季度型范围。季度型范围的算术运算也跟上面是一样的：
In [182]: rng = pd.period_range(‘2011Q3’, ‘2012Q4’, freq=‘Q-JAN’)

In [183]: ts = pd.Series(np.arange(len(rng)), index=rng)

In [184]: ts
Out[184]:
2011Q3 0
2011Q4 1
2012Q1 2
2012Q2 3
2012Q3 4
2012Q4 5
Freq: Q-JAN, dtype: int64

In [185]: new_rng = (rng.asfreq(‘B’, ‘e’) - 1).asfreq(‘T’, ‘s’) + 16 * 60

In [186]: ts.index = new_rng.to_timestamp()

In [187]: ts
Out[187]:
2010-10-28 16:00:00 0
2011-01-28 16:00:00 1
2011-04-28 16:00:00 2
2011-07-28 16:00:00 3
2011-10-28 16:00:00 4
2012-01-30 16:00:00 5
dtype: int64

将Timestamp转换为Period（及其反向过程）

通过使用to_period方法，可以将由时间戳索引的Series和DataFrame对象转换为以时期索引：
In [188]: rng = pd.date_range(‘2000-01-01’, periods=3, freq=‘M’)

In [189]: ts = pd.Series(np.random.randn(3), index=rng)

In [190]: ts
Out[190]:
2000-01-31 1.663261
2000-02-29 -0.996206
2000-03-31 1.521760
Freq: M, dtype: float64

In [191]: pts = ts.to_period()

In [192]: pts
Out[192]:
2000-01 1.663261
2000-02 -0.996206
2000-03 1.521760
Freq: M, dtype: float64

由于时期指的是非重叠时间区间，因此对于给定的频率，一个时间戳只能属于一个时期。新PeriodIndex的频率默认是从时间戳推断而来的，你也可以指定任何别的频率。结果中允许存在重复时期：
In [193]: rng = pd.date_range(‘1/29/2000’, periods=6, freq=‘D’)

In [194]: ts2 = pd.Series(np.random.randn(6), index=rng)

In [195]: ts2
Out[195]:
2000-01-29 0.244175
2000-01-30 0.423331
2000-01-31 -0.654040
2000-02-01 2.089154
2000-02-02 -0.060220
2000-02-03 -0.167933
Freq: D, dtype: float64

In [196]: ts2.to_period(‘M’)
Out[196]:
2000-01 0.244175
2000-01 0.423331
2000-01 -0.654040
2000-02 2.089154
2000-02 -0.060220
2000-02 -0.167933
Freq: M, dtype: float64

要转换回时间戳，使用to_timestamp即可：
In [197]: pts = ts2.to_period()

In [198]: pts
Out[198]:
2000-01-29 0.244175
2000-01-30 0.423331
2000-01-31 -0.654040
2000-02-01 2.089154
2000-02-02 -0.060220
2000-02-03 -0.167933
Freq: D, dtype: float64

In [199]: pts.to_timestamp(how=‘end’)
Out[199]:
2000-01-29 0.244175
2000-01-30 0.423331
2000-01-31 -0.654040
2000-02-01 2.089154
2000-02-02 -0.060220
2000-02-03 -0.167933
Freq: D, dtype: float64

通过数组创建PeriodIndex

固定频率的数据集通常会将时间信息分开存放在多个列中。例如，在下面这个宏观经济数据集中，年度和季度就分别存放在不同的列中：
In [200]: data = pd.read_csv(‘examples/macrodata.csv’)

In [201]: data.head(5)
Out[201]:
year quarter realgdp realcons realinv realgovt realdpi cpi
0 1959.0 1.0 2710.349 1707.4 286.898 470.045 1886.9 28.98
1 1959.0 2.0 2778.801 1733.7 310.859 481.301 1919.7 29.15
2 1959.0 3.0 2775.488 1751.8 289.226 491.260 1916.4 29.35
3 1959.0 4.0 2785.204 1753.7 299.356 484.052 1931.3 29.37
4 1960.0 1.0 2847.699 1770.5 331.722 462.199 1955.5 29.54
m1 tbilrate unemp pop infl realint
0 139.7 2.82 5.8 177.146 0.00 0.00
1 141.7 3.08 5.1 177.830 2.34 0.74
2 140.5 3.82 5.3 178.657 2.74 1.09
3 140.0 4.33 5.6 179.386 0.27 4.06
4 139.6 3.50 5.2 180.007 2.31 1.19

In [202]: data.year
Out[202]:
0 1959.0
1 1959.0
2 1959.0
3 1959.0
4 1960.0
5 1960.0
6 1960.0
7 1960.0
8 1961.0
9 1961.0
…
193 2007.0
194 2007.0
195 2007.0
196 2008.0
197 2008.0
198 2008.0
199 2008.0
200 2009.0
201 2009.0
202 2009.0
Name: year, Length: 203, dtype: float64

In [203]: data.quarter
Out[203]:
0 1.0
1 2.0
2 3.0
3 4.0
4 1.0
5 2.0
6 3.0
7 4.0
8 1.0
9 2.0
…
193 2.0
194 3.0
195 4.0
196 1.0
197 2.0
198 3.0
199 4.0
200 1.0
201 2.0
202 3.0
Name: quarter, Length: 203, dtype: float64

通过将这些数组以及一个频率传入PeriodIndex，就可以将它们合并成DataFrame的一个索引：
In [204]: index = pd.PeriodIndex(year=data.year, quarter=data.quarter,
…: freq=‘Q-DEC’)

In [205]: index
Out[205]:
PeriodIndex([‘1959Q1’, ‘1959Q2’, ‘1959Q3’, ‘1959Q4’, ‘1960Q1’, ‘1960Q2’,
‘1960Q3’, ‘1960Q4’, ‘1961Q1’, ‘1961Q2’,
…
‘2007Q2’, ‘2007Q3’, ‘2007Q4’, ‘2008Q1’, ‘2008Q2’, ‘2008Q3’,
‘2008Q4’, ‘2009Q1’, ‘2009Q2’, ‘2009Q3’],
dtype=‘period[Q-DEC]’, length=203, freq=‘Q-DEC’)

In [206]: data.index = index

In [207]: data.infl
Out[207]:
1959Q1 0.00
1959Q2 2.34
1959Q3 2.74
1959Q4 0.27
1960Q1 2.31
1960Q2 0.14
1960Q3 2.70
1960Q4 1.21
1961Q1 -0.40
1961Q2 1.47
…
2007Q2 2.75
2007Q3 3.45
2007Q4 6.38
2008Q1 2.82
2008Q2 8.53
2008Q3 -3.16
2008Q4 -8.79
2009Q1 0.94
2009Q2 3.37
2009Q3 3.56
Freq: Q-DEC, Name: infl, Length: 203, dtype: float64

6 重采样及频率转换

重采样（resampling）指的是将时间序列从一个频率转换到另一个频率的处理过程。将高频率数据聚合到低频率称为降采样（downsampling），而将低频率数据转换到高频率则称为升采样（upsampling）。并不是所有的重采样都能被划分到这两个大类中。例如，将W-WED（每周三）转换为W-FRI既不是降采样也不是升采样。
pandas对象都带有一个resample方法，它是各种频率转换工作的主力函数。resample有一个类似于groupby的API，调用resample可以分组数据，然后会调用一个聚合函数：

In [208]: rng = pd.date_range('2000-01-01', periods=100, freq='D')
In [209]: ts = pd.Series(np.random.randn(len(rng)), index=rng)
In [210]: ts

Out[210]:
2000-01-01 0.631634
2000-01-02 -1.594313
2000-01-03 -1.519937
2000-01-04 1.108752
2000-01-05 1.255853
2000-01-06 -0.024330
2000-01-07 -2.047939
2000-01-08 -0.272657
2000-01-09 -1.692615
2000-01-10 1.423830
…
2000-03-31 -0.007852
2000-04-01 -1.638806
2000-04-02 1.401227
2000-04-03 1.758539
2000-04-04 0.628932
2000-04-05 -0.423776
2000-04-06 0.789740
2000-04-07 0.937568
2000-04-08 -2.253294
2000-04-09 -1.772919
Freq: D, Length: 100, dtype: float64

In [211]: ts.resample('M').mean()

Out[211]:
2000-01-31 -0.165893
2000-02-29 0.078606
2000-03-31 0.223811
2000-04-30 -0.063643
Freq: M, dtype: float64

In [212]: ts.resample('M', kind='period').mean()

Out[212]:
2000-01 -0.165893
2000-02 0.078606
2000-03 0.223811
2000-04 -0.063643
Freq: M, dtype: float64

resample是一个灵活高效的方法，可用于处理非常大的时间序列。我将通过一系列的示例说明其用法。表11-5总结它的一些选项。
表11-5 resample方法的参数

降采样

将数据聚合到规律的低频率是一件非常普通的时间序列处理任务。待聚合的数据不必拥有固定的频率，期望的频率会自动定义聚合的面元边界，这些面元用于将时间序列拆分为多个片段。例如，要转换到月度频率（‘M’或’BM’），数据需要被划分到多个单月时间段中。各时间段都是半开放的。一个数据点只能属于一个时间段，所有时间段的并集必须能组成整个时间帧。在用resample对数据进行降采样时，需要考虑两样东西：

各区间哪边是闭合的。
如何标记各个聚合面元，用区间的开头还是末尾。

为了说明，我们来看一些“1分钟”数据：

In [213]: rng = pd.date_range('2000-01-01', periods=12, freq='T')In [214]: ts = pd.Series(np.arange(12), index=rng)In [215]: ts

Out[215]:
2000-01-01 00:00:00 0
2000-01-01 00:01:00 1
2000-01-01 00:02:00 2
2000-01-01 00:03:00 3
2000-01-01 00:04:00 4
2000-01-01 00:05:00 5
2000-01-01 00:06:00 6
2000-01-01 00:07:00 7
2000-01-01 00:08:00 8
2000-01-01 00:09:00 9
2000-01-01 00:10:00 10
2000-01-01 00:11:00 11
Freq: T, dtype: int64

假设你想要通过求和的方式将这些数据聚合到“5分钟”块中：

In [216]: ts.resample('5min', closed='right').sum()

Out[216]:
1999-12-31 23:55:00 0
2000-01-01 00:00:00 15
2000-01-01 00:05:00 40
2000-01-01 00:10:00 11
Freq: 5T, dtype: int64

传入的频率将会以“5分钟”的增量定义面元边界。默认情况下，面元的右边界是包含的，因此00:00到00:05的区间中是包含00:05的。传入closed='left’会让区间以左边界闭合：

In [217]: ts.resample('5min', closed='left').sum()

Out[217]:
2000-01-01 00:00:00 10
2000-01-01 00:05:00 35
2000-01-01 00:10:00 21
Freq: 5T, dtype: int64

如你所见，最终的时间序列是以各面元左边界的时间戳进行标记的。传入label='right’即可用面元的右边界对其进行标记：

In [218]: ts.resample('5min', closed='left', label='right').sum()

Out[218]:
2000-01-01 00:05:00 10
2000-01-01 00:10:00 35
2000-01-01 00:15:00 21
Freq: 5T, dtype: int64

图11-3说明了“1分钟”数据被转换为“5分钟”数据的处理过程。

图11-3 各种closed、label约定的“5分钟”重采样演示

最后，你可能希望对结果索引做一些位移，比如从右边界减去一秒以便更容易明白该时间戳到底表示的是哪个区间。只需通过loffset设置一个字符串或日期偏移量即可实现这个目的：

In [219]: ts.resample('5min', closed='left',label='right', loffset='-1s').sum()

2000-01-01 00:04:59 10
2000-01-01 00:09:59 35
2000-01-01 00:14:59 21
Freq: 5T, dtype: int64

In [219]: ts.resample('5min', closed='right',label='right', loffset='-1s').sum()

1999-12-31 23:59:59 0
2000-01-01 00:04:59 15
2000-01-01 00:09:59 40
2000-01-01 00:14:59 11
Freq: 5T, dtype: int64

此外，也可以通过调用结果对象的shift方法来实现该目的，这样就不需要设置loffset了。

OHLC重采样

金融领域中有一种无所不在的时间序列聚合方式，即计算各面元的四个值：第一个值（open，开盘）、最后一个值（close，收盘）、最大值（high，最高）以及最小值（low，最低）。传入how='ohlc’即可得到一个含有这四种聚合值的DataFrame。整个过程很高效，只需一次扫描即可计算出结果：

In [220]: ts.resample('5min').ohlc()

Out[220]:
open high low close
2000-01-01 00:00:00 0 4 0 4
2000-01-01 00:05:00 5 9 5 9
2000-01-01 00:10:00 10 11 10 11

升采样和插值

在将数据从低频率转换到高频率时，就不需要聚合了。我们来看一个带有一些周型数据的DataFrame：

In [221]: frame = pd.DataFrame(np.random.randn(2, 4),index=pd.date_range('1/1/2000', periods=2, freq='W-WED'),columns=['Colorado', 'Texas', 'New York', 'Ohio'])In [222]: frame

Out[222]:
Colorado Texas New York Ohio
2000-01-05 -0.896431 0.677263 0.036503 0.087102
2000-01-12 -0.046662 0.927238 0.482284 -0.867130

当你对这个数据进行聚合，每组只有一个值，这样就会引入缺失值。我们使用asfreq方法转换成高频，不经过聚合：

In [223]: df_daily = frame.resample('D').asfreq()
In [224]: df_daily

Out[224]:
Colorado Texas New York Ohio
2000-01-05 -0.896431 0.677263 0.036503 0.087102
2000-01-06 NaN NaN NaN NaN
2000-01-07 NaN NaN NaN NaN
2000-01-08 NaN NaN NaN NaN
2000-01-09 NaN NaN NaN NaN
2000-01-10 NaN NaN NaN NaN
2000-01-11 NaN NaN NaN NaN
2000-01-12 -0.046662 0.927238 0.482284 -0.867130

假设你想要用前面的周型值填充“非星期三”。resampling的填充和插值方式跟fillna和reindex的一样：

In [225]: frame.resample('D').ffill()

Out[225]:
Colorado Texas New York Ohio
2000-01-05 -0.896431 0.677263 0.036503 0.087102
2000-01-06 -0.896431 0.677263 0.036503 0.087102
2000-01-07 -0.896431 0.677263 0.036503 0.087102
2000-01-08 -0.896431 0.677263 0.036503 0.087102
2000-01-09 -0.896431 0.677263 0.036503 0.087102
2000-01-10 -0.896431 0.677263 0.036503 0.087102
2000-01-11 -0.896431 0.677263 0.036503 0.087102
2000-01-12 -0.046662 0.927238 0.482284 -0.867130

同样，这里也可以只填充指定的时期数（目的是限制前面的观测值的持续使用距离）：

In [226]: frame.resample('D').ffill(limit=2)

Out[226]:
Colorado Texas New York Ohio
2000-01-05 -0.896431 0.677263 0.036503 0.087102
2000-01-06 -0.896431 0.677263 0.036503 0.087102
2000-01-07 -0.896431 0.677263 0.036503 0.087102
2000-01-08 NaN NaN NaN NaN
2000-01-09 NaN NaN NaN NaN
2000-01-10 NaN NaN NaN NaN
2000-01-11 NaN NaN NaN NaN
2000-01-12 -0.046662 0.927238 0.482284 -0.867130

注意，新的日期索引完全没必要跟旧的重叠：

In [227]: frame.resample('W-THU').ffill()

Out[227]:
Colorado Texas New York Ohio
2000-01-06 -0.896431 0.677263 0.036503 0.087102
2000-01-13 -0.046662 0.927238 0.482284 -0.867130

通过时期进行重采样

对那些使用时期索引的数据进行重采样与时间戳很像：

In [228]: frame = pd.DataFrame(np.random.randn(24, 4),index=pd.period_range('1-2000', '12-2001', freq='M'),columns=['Colorado', 'Texas', 'New York', 'Ohio'])In [229]: frame[:5]

Out[229]:
Colorado Texas New York Ohio
2000-01 0.493841 -0.155434 1.397286 1.507055
2000-02 -1.179442 0.443171 1.395676 -0.529658
2000-03 0.787358 0.248845 0.743239 1.267746
2000-04 1.302395 -0.272154 -0.051532 -0.467740
2000-05 -1.040816 0.426419 0.312945 -1.115689

In [230]: annual_frame = frame.resample('A-DEC').mean()
In [231]: annual_frame

Out[231]:
Colorado Texas New York Ohio
2000 0.556703 0.016631 0.111873 -0.027445
2001 0.046303 0.163344 0.251503 -0.157276

升采样要稍微麻烦一些，因为你必须决定在新频率中各区间的哪端用于放置原来的值，就像asfreq方法那样。convention参数默认为’start’，也可设置为’end’：

#Q-DEC: Quarterly, year ending in December
In [232]: annual_frame.resample('Q-DEC').ffill()

Out[232]:
Colorado Texas New York Ohio
2000Q1 0.556703 0.016631 0.111873 -0.027445
2000Q2 0.556703 0.016631 0.111873 -0.027445
2000Q3 0.556703 0.016631 0.111873 -0.027445
2000Q4 0.556703 0.016631 0.111873 -0.027445
2001Q1 0.046303 0.163344 0.251503 -0.157276
2001Q2 0.046303 0.163344 0.251503 -0.157276
2001Q3 0.046303 0.163344 0.251503 -0.157276
2001Q4 0.046303 0.163344 0.251503 -0.157276

In [233]: annual_frame.resample('Q-DEC', convention='end').ffill()

Out[233]:
Colorado Texas New York Ohio
2000Q4 0.556703 0.016631 0.111873 -0.027445
2001Q1 0.556703 0.016631 0.111873 -0.027445
2001Q2 0.556703 0.016631 0.111873 -0.027445
2001Q3 0.556703 0.016631 0.111873 -0.027445
2001Q4 0.046303 0.163344 0.251503 -0.157276

由于时期指的是时间区间，所以升采样和降采样的规则就比较严格：

在降采样中，目标频率必须是源频率的子时期（subperiod）。
在升采样中，目标频率必须是源频率的超时期（superperiod）。

如果不满足这些条件，就会引发异常。这主要影响的是按季、年、周计算的频率。例如，由Q-MAR定义的时间区间只能升采样为A-MAR、A-JUN、A-SEP、A-DEC等：
In [234]: annual_frame.resample(‘Q-MAR’).ffill()
Out[234]:
Colorado Texas New York Ohio
2000Q4 0.556703 0.016631 0.111873 -0.027445
2001Q1 0.556703 0.016631 0.111873 -0.027445
2001Q2 0.556703 0.016631 0.111873 -0.027445
2001Q3 0.556703 0.016631 0.111873 -0.027445
2001Q4 0.046303 0.163344 0.251503 -0.157276
2002Q1 0.046303 0.163344 0.251503 -0.157276
2002Q2 0.046303 0.163344 0.251503 -0.157276
2002Q3 0.046303 0.163344 0.251503 -0.157276

11.7 移动窗口函数

在移动窗口（可以带有指数衰减权数）上计算的各种统计函数也是一类常见于时间序列的数组变换。这样可以圆滑噪音数据或断裂数据。我将它们称为移动窗口函数（moving window function），其中还包括那些窗口不定长的函数（如指数加权移动平均）。跟其他统计函数一样，移动窗口函数也会自动排除缺失值。
开始之前，我们加载一些时间序列数据，将其重采样为工作日频率：

close_px_all = pd.read_csv('examples/stock_px_2.csv',parse_dates=True, index_col=0)# 美国股市有法定假日，所以只有 2214 行数据。
close_px = close_px_all[['AAPL', 'MSFT', 'XOM']]# 按工作日重采样之后，法定假日被填充了数据，数据增加到了 2292 行。
close_px = close_px.resample('B').ffill()

现在引入rolling运算符，它与resample和groupby很像。可以在TimeSeries或DataFrame以及一个window（表示期数，见图11-4）上调用它：

close_px.AAPL.plot()
close_px.AAPL.rolling(250).mean().plot()

图11-4 苹果公司股价的250日均线

表达式rolling(250)与groupby很像，但不是对其进行分组，而是创建一个按照250天分组的滑动窗口对象。然后，我们就得到了苹果公司股价的250天的移动窗口。
默认情况下，rolling函数需要窗口中所有的值为非NA值。可以修改该行为以解决缺失数据的问题。其实，在时间序列开始处尚不足窗口期的那些数据就是个特例（见图11-5）：

appl_std250 = close_px.AAPL.rolling(250, min_periods=10).std()
appl_std250[5:12]

Out[242]:
2003-01-09 NaN
2003-01-10 NaN
2003-01-13 NaN
2003-01-14 NaN
2003-01-15 0.077496
2003-01-16 0.074760
2003-01-17 0.112368
Freq: B, Name: AAPL, dtype: float64

appl_std250.plot()

图11-5 苹果公司250日每日回报标准差

要计算扩展窗口平均（expanding window mean），可以使用expanding而不是rolling。“扩展”意味着，从时间序列的起始处开始窗口，增加窗口直到它超过所有的序列。apple_std250时间序列的扩展窗口平均如下所示：

expanding_mean = appl_std250.expanding().mean()

对DataFrame调用rolling_mean（以及与之类似的函数）会将转换应用到所有的列上（见图11-6）：

close_px.rolling(60).mean().plot(logy=True)

图11-6 各股价60日均线（对数Y轴）

rolling函数也可以接受一个指定固定大小时间补偿字符串，而不是一组时期。这样可以方便处理不规律的时间序列。这些字符串也可以传递给resample。例如，我们可以计算20天的滚动均值，如下所示：

close_px.rolling('20D').mean()

Out[247]:
AAPL MSFT XOM
2003-01-02 7.400000 21.110000 29.220000
2003-01-03 7.425000 21.125000 29.230000
2003-01-06 7.433333 21.256667 29.473333
2003-01-07 7.432500 21.425000 29.342500
2003-01-08 7.402000 21.402000 29.240000
2003-01-09 7.391667 21.490000 29.273333
2003-01-10 7.387143 21.558571 29.238571
2003-01-13 7.378750 21.633750 29.197500
2003-01-14 7.370000 21.717778 29.194444
2003-01-15 7.355000 21.757000 29.152000
… … … …
2011-10-03 398.002143 25.890714 72.413571
2011-10-04 396.802143 25.807857 72.427143
2011-10-05 395.751429 25.729286 72.422857
2011-10-06 394.099286 25.673571 72.375714
2011-10-07 392.479333 25.712000 72.454667
2011-10-10 389.351429 25.602143 72.527857
2011-10-11 388.505000 25.674286 72.835000
2011-10-12 388.531429 25.810000 73.400714
2011-10-13 388.826429 25.961429 73.905000
2011-10-14 391.038000 26.048667 74.185333
[2292 rows x 3 columns]

指数加权函数

另一种使用固定大小窗口及相等权数观测值的办法是，定义一个衰减因子（decay factor）常量，以便使近期的观测值拥有更大的权数。衰减因子的定义方式有很多，比较流行的是使用时间间隔（span），它可以使结果兼容于窗口大小等于时间间隔的简单移动窗口（simple moving window）函数。
由于指数加权统计会赋予近期的观测值更大的权数，因此相对于等权统计，它能“适应”更快的变化。
除了rolling和expanding，pandas还有ewm运算符。下面这个例子对比了苹果公司股价的30日移动平均和span=30的指数加权移动平均（如图11-7所示）：

import matplotlib.pyplot as pltaapl_px = close_px.AAPL['2006':'2007']
ma60 = aapl_px.rolling(30, min_periods=20).mean()
ewma60 = aapl_px.ewm(span=30).mean()ma60.plot(style='k--', label='Simple MA')
ewma60.plot(style='k-', label='EW MA')
plt.legend()

图11-7 简单移动平均与指数加权移动平均

二元移动窗口函数

有些统计运算（如相关系数和协方差）需要在两个时间序列上执行。例如，金融分析师常常对某只股票对某个参考指数（如标准普尔500指数）的相关系数感兴趣。要进行说明，我们先计算我们感兴趣的时间序列的百分数变化：

spx_px = close_px_all['SPX']
# 这里构造的两个变量，一个是series， 一个是df
spx_rets = spx_px.pct_change()
returns = close_px.pct_change()

调用rolling之后，corr聚合函数开始计算与spx_rets滚动相关系数（结果见图11-8）：

# 注意这里是计算 AAPL 和 spx_rets 的相关系数（两个series的相关系数）
corr = returns.AAPL.rolling(125, min_periods=100).corr(spx_rets)
corr.plot()

图11-8 AAPL 6个月的回报与标准普尔500指数的相关系数(AAPL与SPX)

假设你想要一次性计算多只股票与标准普尔500指数的相关系数。虽然编写一个循环并新建一个DataFrame不是什么难事，但比较啰嗦。其实，只需传入一个TimeSeries和一个DataFrame，rolling_corr就会自动计算TimeSeries（本例中就是spx_rets）与DataFrame各列的相关系数。结果如图11-9所示：

corr = returns.rolling(125, min_periods=100).corr(spx_rets)
corr.plot()

图11-9 3只股票6个月的回报与标准普尔500指数的相关系数(df与series)

用户定义的移动窗口函数

rolling_apply函数使你能够在移动窗口上应用自己设计的数组函数。唯一要求的就是：该函数要能从数组的各个片段中产生单个值（即约简）。比如说，当我们用rolling(…).quantile(q)计算样本分位数时，可能对样本中特定值的百分等级感兴趣。scipy.stats.percentileofscore函数就能达到这个目的（结果见图11-10）：

from scipy.stats import percentileofscore
# percentileofscore(x, 0.02)表示x中低于0.02的值的数量占比
score_at_2percent = lambda x: percentileofscore(x, 0.02)
result = returns.AAPL.rolling(250).apply(score_at_2percent)
result.plot()

图11-10 AAPL 2%回报率的百分等级（一年窗口期）

如果你没安装SciPy，可以使用conda或pip安装。

11.8 总结

与前面章节接触的数据相比，时间序列数据要求不同类型的分析和数据转换工具。
在接下来的章节中，我们将学习一些高级的pandas方法和如何开始使用建模库statsmodels和scikit-learn。

参考：
《利用python进行数据分析第二版》（简书）

【学习经典】时间序列处理（DatetimeIndex）相关推荐

【Python】Python中的经典时间序列预测模型总结
时间序列预测是机器学习中一个经常被忽视的重要领域.时间序列在观察之间添加了显式的顺序依赖性:时间维度.这个额外的维度既是一个约束,也是一个提供额外信息来源的结构. 时间序列时间序列分析使用经典统计 ...
基于深度迁移学习进行时间序列分类
在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考. 在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果. 点击本文底部的「阅读原文」即刻加入社区 ...
深度学习经典教程：深度学习+动手学深度学习
作者:[美] Ian,Goodfellow(伊恩·古德费洛),[加] Yoshua,Bengio(约书亚·本吉奥)等出版社:人民邮电出版社品牌:异步图书出版时间:2019-06-01 深度学习经 ...
深度学习多变量时间序列预测：LSTM算法构建时间序列多变量模型预测交通流量+代码实战
深度学习多变量时间序列预测:LSTM算法构建时间序列多变量模型预测交通流量+代码实战 LSTM(Long Short Term Memory Network)长短时记忆网络,是一种改进之后的循环神经网 ...
深度学习多变量时间序列预测：Bi-LSTM算法构建时间序列多变量模型预测交通流量+代码实战
深度学习多变量时间序列预测:Bi-LSTM算法构建时间序列多变量模型预测交通流量+代码实战人类并不是每时每刻都从一片空白的大脑开始他们的思考.在你阅读这篇文章时候,你都是基于自己已经拥有的对先前所见 ...
深度学习多变量时间序列预测：Encoder-Decoder LSTM算法构建时间序列多变量模型预测交通流量+代码实战
深度学习多变量时间序列预测:Encoder-Decoder LSTM算法构建时间序列多变量模型预测交通流量+代码实战 LSTM是一种时间递归神经网络,适合于处理和预测时间序列中间隔和延迟相对较长的重要 ...
深度学习多变量时间序列预测：卷积神经网络（CNN）算法构建时间序列多变量模型预测交通流量+代码实战
深度学习多变量时间序列预测:卷积神经网络(CNN)算法构建时间序列多变量模型预测交通流量+代码实战卷积神经网络,听起来像是计算机科学.生物学和数学的诡异组合,但它们已经成为计算机视觉领域中最具影响力 ...
深度学习多变量时间序列预测：GRU算法构建时间序列多变量模型预测交通流量+代码实战
深度学习多变量时间序列预测:GRU算法构建时间序列多变量模型预测交通流量+代码实战 GRU是LSTM网络的一种效果很好的变体,它较LSTM网络的结构更加简单,而且效果也很好,因此也是当前非常流形的一种 ...
基于深度学习的时间序列分类[含代码]
基于深度学习的时间序列分类引言数据集实验环境搭建实验设计实验代码实验结果引言目前,深度学习在计算机视觉和语音识别上有了非常广泛的应用,但是在工业应用方面还没有完善的体系,一方面缺乏数据 ...
强化学习经典model-free方法总结
强化学习经典model-free方法总结 1. 基于值函数(value-based)的方法 1.1 sarsa 1.2 Q-learning 1.3 DQN 1.4 Double DQN 1.5 Du ...

【学习经典】时间序列处理（DatetimeIndex）

1. 日期和时间数据类型及工具

字符串和datetime的相互转换

2. 时间序列基础

索引、选取、子集构造

带有重复索引的时间序列

11.3 日期的范围、频率以及移动

生成日期范围

频率和日期偏移量

WOM日期

移动（超前和滞后）数据

通过偏移量对日期进行位移

4 时区处理（略）

5 时期及其算术运算

时期的频率转换

将Timestamp转换为Period（及其反向过程）

通过数组创建PeriodIndex

6 重采样及频率转换

降采样

OHLC重采样

升采样和插值

通过时期进行重采样

11.7 移动窗口函数

指数加权函数

二元移动窗口函数

用户定义的移动窗口函数

11.8 总结

【学习经典】时间序列处理（DatetimeIndex）相关推荐

最新文章

热门文章