Pandas基础操作

简书大神SeanCheney的译作，我作了些格式调整和文章目录结构的变化，更适合自己阅读，以后翻阅是更加方便自己查找吧

import pandas as pd
import numpy as np

设定最大列数和最大行数

pd.set_option('max_columns',5 , 'max_rows', 5)

1 选取多个DataFrame列

1.1 用列表选取多个列

movie = pd.read_csv('data/movie.csv')

cols =['actor_1_name', 'actor_2_name', 'actor_3_name', 'director_name']

movie_actor_director = movie[cols]

movie_actor_director

1.2 使用select_dtypes选取类型

select_dtypes(include=None, exclude=None)

• To select all numeric types, use np.number or 'number'
• To select strings you must use the object dtype, but note that this will return all object dtype columns，See the numpy dtype hierarchy
• To select datetimes, use np.datetime64, 'datetime' or 'datetime64'
• To select timedeltas, use np.timedelta64, 'timedelta' or 'timedelta64'
• To select Pandas categorical dtypes, use 'category'

movie.shape

(4916, 28)

1.2.1 选取整数列

movie.select_dtypes(include=['int']).head()

1.2.2 选取非整数列

movie.select_dtypes(exclude=['int']).head()

1.2.3 通过filter函数过滤选取多列

filter(items=None, like=None, regex=None, axis=None)

• items : list-like
  • List of info axis to restrict to (must not all be present)
  • 传递个列名或行名列表
• like : string
  • Keep info axis where “arg in col == True”
  • 类似Python里面字符串的find()函数，col.find(arg)
• regex : string (regular expression)
  • Keep info axis with re.search(regex, col) == True

通过filter()函数过滤选取多列

movie.filter(like='facebook').head()

通过正则表达式选取多列

movie.filter(regex='\d').head()

filter()函数，传递列表到参数items，选取多列

movie.filter(items=['actor_1_name', 'actor_3_name']).head()

2 DataFrame上操作

2.1 基本方法

数据的个数 数据集的维度 数据集的长度

 movie.shape,movie.size,movie.ndim

((4916, 28), 137648, 2)

各个列的非空值的个数

movie.count()

color                   4897
director_name           4814...
aspect_ratio            4590
movie_facebook_likes    4916
Length: 28, dtype: int64

2.2 统计信息

movie.shape

(4916, 28)

2.2.1 最大 最小值

2.2.1.1 数值类型

# min max quantile
movie_min = movie.min()
movie_min.name = '最小值'
movie_min

num_critic_for_reviews    1.00
duration                  7.00...
aspect_ratio              1.18
movie_facebook_likes      0.00
Name: 最小值, Length: 16, dtype: float64

计算是默认会跳过缺失值的,可设置skipna=False使其包含缺失,但这样不具有意义

movie.min(skipna=False)

num_critic_for_reviews    NaN
duration                  NaN...
aspect_ratio              NaN
movie_facebook_likes      0.0
Length: 16, dtype: float64

2.2.1.2 字符串类型

当字符串类型的列包含缺失值时,聚合方法min、max、sum，不会返回任何值。

movie[['color', 'movie_title', 'color']].max()

Series([], dtype: float64)

要让pandas强行返回每列的值，必须填入缺失值。下面填入的是空字符串

movie[['color', 'movie_title', 'color']].fillna('').max()

color             Color
movie_title    Æon Flux
color             Color
dtype: object

2.2.2 统计信息

2.2.2.1 数值型

使用percentiles参数指定分位数

movie.describe(percentiles=[.01, .3, .99])

2.2.2.2 字符串型

movie.select_dtypes(include='object').describe()

2.3 方法的组合

使用isnull方法将每个值转变为布尔值

movie.isnull().head()

sum统计布尔值，返回的是Series

movie.isnull().sum().head()

color                       19
director_name              102
num_critic_for_reviews      49
duration                    15
director_facebook_likes    102
dtype: int64

对这个Series再使用sum，返回整个DataFrame的缺失值的个数，返回值是个标量

movie.isnull().sum().sum()

2654

判断整个DataFrame有没有缺失值，方法是连着使用两个any

movie.isnull().any().any()

True

2.4 运算符

行索引名设为INSTNM，用UGDS_过滤出本科生的种族比例

college = pd.read_csv('data/college.csv', index_col='INSTNM')

college_ugds_ = college.filter(like='UGDS_')

college_ugds_

college_ugds_的数值类型都是float,可以进行整数运算

college_ugds_.dtypes

UGDS_WHITE    float64
UGDS_BLACK    float64...
UGDS_NRA      float64
UGDS_UNKN     float64
Length: 9, dtype: object

2.4.1 加减乘除

college_ugds_.head() + .00501

2.4.2 计算样例数据的百分比

2.4.2.1 方式一

college_ugds_op_round = (college_ugds_ + .00501) // .01 / 100

college_ugds_op_round.head()

2.4.2.2 方式二

college_ugds_round = (college_ugds_ + .00001).round(2)

college_ugds_round.head()

2.4.2.3 方式三

college_ugds_op_round_methods = college_ugds_.add(.00501).floordiv(.01).div(100)

college_ugds_op_round_methods.head()

3 比较缺失值

Pandas使用NumPy NaN（np.nan）对象表示缺失值。这是一个不等于自身的特殊对象：

np.nan == np.nan

False

所有和np.nan的比较都返回False，除了不等于：

5 > np.nan

False

5 != np.nan

True

无法通过直接比较比较，含有缺失值的df是否一致

movie_equal = movie == movie

movie_equal.all().all()

False

movie_equal.size - movie_equal.sum().sum()

2654

movie.isnull().sum().sum()

2654

比较两个DataFrame最直接的方法是使用equals()方法

from pandas.testing import assert_frame_equal

assert_frame_equal(movie, movie)