Pandas数据规整

数据分析和建模方面的大量编程工作都是用在数据准备上的，有时候存放在文件或数据库中的数据并不能满足数据处理应用的要求

Pandas提供了一组高级的、灵活的、高效的核心函数和算法，它们能够轻松地将数据规整化为你需要的形式

合并

连接

Pandas提供了大量方法，能轻松的对Series，DataFrame和Panel执行合并操作

连接pandas对象 .concat()

import numpy as np
import pandas as pddf = pd.DataFrame(np.random.randn(10, 4))
df.head()

pieces = [df[:2], df[3:5], df[7:]] # 这里面切片是前闭后开的
pieces

[          0         1         2         30  0.231308  1.193636 -0.033288  0.8263991 -0.421474 -0.618510 -1.266325 -0.439435,0         1         2         33 -1.197750 -0.446579  0.495728  0.9007044 -0.638926 -0.233019 -1.106248 -0.762133,0         1         2         37 -0.265515 -0.705797  0.695531 -0.2573748  0.552615 -0.137180  0.859215 -0.8537529 -1.014105  0.392409 -1.832748  0.612679]

df2 = pd.concat(pieces)
df2

追加 .append()

df = pd.DataFrame(np.random.randn(4, 4), columns=['A','B','C','D'])
df

s = df.iloc[2]
s

A    1.696282
B   -1.272457
C    1.226460
D   -1.944458
Name: 2, dtype: float64

df.append(s, ignore_index=True)

分组

group by():一般指以下一个或多个操作步骤

• Splitting 将数据分组
• Applying 对每个分组应用不同的function
• Combining 使用某种数据结果展示结果

df = pd.DataFrame({'A' : ['foo', 'bar', 'foo', 'bar','foo', 'bar', 'foo', 'foo'],'B' : ['one', 'one', 'two', 'three','two', 'two', 'one', 'three'],'C' : np.random.randn(8),'D' : np.random.randn(8)})
df

# 分组后sum求和:
a = df.groupby('A').sum()
a

a = df.groupby('A',as_index=False).sum()
a

# 对多列分组后sum:
b = df.groupby(['A','B']).sum()
b

b = df.groupby(['A','B'],as_index=False).sum()
b