不得不说，工作中几乎天天跟DataFrame打交道，真的很有总结和记住的必要，话不多说，直接上干货。输入以下语句前别忘记：

import pandas as pd

import numpy as np

1、读入文件：

df=pd.read_csv(path,names=[‘’,’’,’’])；

#读入文件用names,格式转换用columns；

2、list转dataframe ：

df=pd.DataFrame(data,column=[‘a’, ’b’]) ；

Dataframe 转list ：df.values.tolist()；

某一列数据转list ：list(df[‘a’])；

3、两个dataframe 取交集，也可用于删除重复项目

pd.merge(df1,df2);

#很好用，速度快。

4、两个dataframe取并集(合并): 

pd.concat([df1,df2])

#括号里面一定要写中括号。

#两个表合并之后一定要reset_index,否则索引值不是按顺序的。

5、DataFrame数据形式转换 : 

Df=pd.DataFrame(df,type=np.float);

6、删除空值 ：

df.dropna(axis=0,how=’any’,inplace=True);

#how的取值是any或者all。

7、填补缺失值 :

df.fillna(0,inplace=True) ;

#不要忘了inplace=True,否则不会在原表上修改;

8、计算缺失值个数:

list(data[‘a’].isnull()).count(True);

9、数据替换 :

df[‘a’]=df[‘a’].replace(‘.’ , ’0’);

10、根据一列数据生成另一列数据(例如归一化):

dt=df.apply(lambda x:(x-np.min(x))/(np.max(x)-np.min(x)));

#apply+lamda这个语句还是好用的，例如给不同分值的人分等级，可以先做一个字典，直接映射到字典里面的值。

11、筛选数据 :

df[df[‘a’]!=1][‘a’,’b’,’c’];

#选择a这一列中不为1的数据;

12、数据筛选(按列) :

df.iloc[:, df.columns!=’flag’];

13、数据筛选(按值):

A_list=[0.1,0,2,0.3];

df[‘a’].isin(alist);

14、取第一行:

df.iloc[[1]] ;

#一定要写两个中括号;

15、元素定位 :

df.loc[0:3,[‘a’,’b’]] #loc需要写列名;

df.iloc[0:3,[0,1]];

16、删除某一列 :

del df[‘a’];

17、删除多列 :

df=df.drop([‘a’,’b’],axis=1);

18、抽样 :

df[features].sample(n=1000);

#但感觉这个不太好用,可以用np.random.choice;

19、展示重复值 :

df[df.duplicated(keep=’first’)];

#不加列名就是展示所有列;

20、删除重复值 :

df.drop_duplicates(keep=’first’,inplace=True);

#这一步做完也一定要reset_index;

21、数据排序 :

df.sort_values(‘a’,ascending=True,inplace=true);

22、插入新的一列 :

df[‘d’]=None;

#然后再用apply+lambda赋值;

23、某一列值分类计数 :

df[‘a’].value_counts() ;

#要画图的话直接在后面加.plot(kind=’bar’);

24、求分位数 :

df[‘a’].quantile(0.25);

25、数据保存成csv文件 :

df.to_csv(‘a.csv’,header=False,index=False);

#如果不写后面两个False，就会自动生成一列索引和一个表头;

(未完待续。。。)

----------