快乐学习Pandas入门篇:Pandas基础
Datawhale学习
作者:杨煜,Datawhale成员
寄语:本文对Pandas基础内容进行了梳理,从文件读取与写入、Series及DataFrame基本数据结构、常用基本函数及排序四个模块快速入门。同时,文末给出了问题及练习,以便更好地实践。
知识体系框架
完整学习教程已开源,开源链接:
https://github.com/datawhalechina/joyful-pandas
文件的读取和写入
import pandas as pd
import numpy as np
# 加上这两行可以一次性输出多个变量而不用print
from IPython.core.interactiveshell import InteractiveShell
InteractiveShell.ast_node_interactivity = "all"
# 查看版本
pd.__version__
pd.set_option('display.max_columns', None)
读取
Pandas常用的有以下三种文件:
csv文件
txt文件
xls/xlsx文件
读取文件时的注意事项:
文件路径是否正确,相对路径 ./data
编码方式 分隔符
列名
#读取csv文件
df = pd.read_csv('./data./table.csv')
df.head()
#读取txt文件,直接读取可能会出现数据都挤在一列上
df_txt = pd.read_table('./data./table.txt')
#df_txt = pd.read_table('./data./table.csv', sep=",")
df_txt.head()
#读取xls/xlsx文件
df_excel = pd.read_excel('./data./table.xlsx')
df_excel.head()
写入
将结果输出到csx、txt、xls、xlsx文件中
df.to_csv('./new table.csv')
df.to_excel('./new table.xlsx')
基本数据结构
Pandas处理的基本数据结构有 Series 和 DataFrame。两者的区别和联系见下表:
Series
1. 创建
Series常见属性有 values, index, name, dtype
s = pd.Series(np.random.randn(5), index=['a','b','c','d','e'], name='this is a series', dtype='float64')
2. 访问Series属性
s.values, s.index, s.name, s.dtype
3. 取出某元素
通过索引取数或通过位置取数
s['a'], s[2:], s[1]
4. 调用方法
s.mean(), s.sum(), s.hist()
DataFrame
1. 创建
DataFrame基本属性有 values、columns、index
df = pd.DataFrame({'col1':list('abcde'), 'col2':range(5,10),'col3':[1.3,2.5,3.6,4.6,5.8]}, index=list('一二三四五'))
2. 取一列/取一行
df['col1'], df[:1]
type(df), type(df['col1']), type(df[:1]
3. 修改行或列名
df.rename(index={'一':'one'}, columns={'col1':'new_col1'})
4. 调用属性和方法
df.index, df.columns, df.values, df.shape, df.mean()
5. 索引对齐特性
这是Pandas中非常强大的特性,在对多个DataFrame 进行合并或者加减乘除操作时,行和列的索引都重叠的时候才能进行相应操作,否则会使用NA值进行填充。
df1 = pd.DataFrame({'A':[1,2,3]},index=[1,2,3])
df2 = pd.DataFrame({'A':[1,2,3]},index=[3,1,2])
df1-df2 #由于索引对齐,因此结果不是0
6. 列的删除
对于删除而言,可以使用drop函数或del或pop。
方法1:直接drop不会影响原DataFrame,设置inplace=True后会直接在原DataFrame中改动;
df.drop(index='五', columns='col1')
方法2:del会直接改变原Dataframe;
df['col1']=[1,2,3,4,5]
del df['col1']
方法3:pop方法直接在原来的DataFrame上操作,且返回被删除的列,与python中的pop函数类。
df['col1']=[1,2,3,4,5]
df.pop('col1')
7. 列的添加
方法1:直接新增;
df1['B'] = list('abc')
方法2:用assign方法,不会改变原DataFrame;
df1.assign(C=pd.Series(list('def')))
方法3:df.assign 效果其实是左连接,之所以会出现NaN的情况,是因为C和df的索引不一致导致。打印一下可以看到,df的索引是1-3,而C默认的是0-4。
C=pd.Series(list('def'))
8. 根据类型选择列
df.select_dtypes(include=['number'])
df.select_dtypes(include=['float'])
Series和DataFrame相互转换
1. DataFrame转换为Series
就是取某一列的操作
s = df.mean()
s.name = 'to_DataFrame'
2. Series转换为DataFrame
使用to_frame() 方法
s.to_frame()
# T符号可以进行转置操作
s.to_frame().T
常用基本函数
首先,读取数据
df = pd.read_csv('./data/table.csv')
1. head & tail
用来显示数据头部或者尾部的几行数据,默认是5行。可以指定n参数显示多少行
df.head()
df.tail()
df.head(6)
2. unique & nunique
unique显示所有的唯一值是什么;nunique显示有多少个唯一值。需要注意的是:需要在具体列上操作,本身DataFrame并没有这两个方法
df['Physics'].unique()
df['Physics'].nunique()
3. count & value_counts
count返回非缺失值元素个数;value_counts返回每个元素有多少个值,也是作用在具体某列上
df['Physics'].count()
df['Physics'].value_counts()
4. describe & info
info() 函数返回有哪些列、有多少非缺失值、每列的类型;describe() 默认统计数值型数据的各个统计量,可以自行选择分位数位置。非数值型特征需要单独调用describe方法。
df.info()
df.describe()
# describe()可以自行选择分位数位置
df.describe(percentiles=[.05, .25, .75, .95])
# 非数值型特征需要单独调用describe方法
df['Physics'].describe()
5. idxmax & nlargest
idxmax函数返回最大值对应的索引,在某些情况下特别适用,idxmin功能类似;nlargest函数返回前几个大的元素值,nsmallest功能类似,需要指定具体列
df['Math'].idxmax()
df['Math'].max()
df['Math'].nlargest(2)
6. clip & replace
clip和replace是两类替换函数:
clip是对超过或者低于某些值的数进行截断,numpy.clip(a, a_min, a_max, out=None)
replace是对某些值进行替换
df['Math'].head()
# 低于33的全都显示为33, 高于80的全都显示为80
df['Math'].clip(33,80).head()
df['Math'].mad()df['Address'].head()
df['Address'].replace(['street_1','street_2'],['one','two']).head()# 还可以通过字典方式修改
df.replace({'Address':{'street_1':'one','street_2':'two'}}).head(
7. apply
apply和匿名函数 lambda结合使用,可以很方便的进行一些数据处理。对于Series,它可以迭代每一列的值(行)操作;对于DataFrame,它可以迭代每一个列操作。
# 遍历Math列中的所有值,添加!
df['Math'].apply(lambda x:str(x)+'!').head() # 先是遍历所有列,然后遍历每列的所有的值,添加!
df.apply(lambda x:x.apply(lambda x:str(x)+'!')).head()
排序
1. 索引排序
#set_index函数可以设置索引,将在下一章详细介绍
df.set_index('Math').head()#可以设置ascending参数,默认为升序,True
df.set_index('Math').sort_index().head()
2. 值排序
df.sort_values(by='Class').head()
df.sort_values(by=['Address','Height']).head()
问题及练习
问题
1. Series和DataFrame有哪些常见属性和方法?
Series
属性方法 | 说明 |
s.values | 访问s的内容 |
s.index | 获取s的索引 |
s.iteritems() | 获取索引和值对 |
s.dtype | 获取s的数据类型 |
s[‘a’] | 根据索引访问元素 |
DataFrame
属性方法 | 说明 |
df.index | 访问行索引 |
df.columns | 访问列索引 |
df.values | 访问数据 |
df.shape | 获取df的数据形状 |
2. value_counts会统计缺失值吗?
答:value_counts不会统计缺失值。
3. 与idxmax和nlargest功能相反的是哪两组函数?
答:idxmin和nsmallest。
4. 在常用函数一节中,由于一些函数的功能比较简单,因此没有列入,现在将它们列在下面,请分别说明它们的用途并尝试使用。
5. df.mean(axis=1)是什么意思?它与df.mean()的结果一样吗?第一问提到的函数也有axis参数吗?怎么使用?
答:df.mean(axis=1)意思是对df按列求均值;axis = 0表示保持列标签不变,对行进行操作;axis = 1表示保持行标签不变,对列进行操作。
练习
练习1:
现有一份关于美剧《权力的游戏》剧本的数据集,请解决以下问题:
(a)在所有的数据中,一共出现了多少人物?
(b)以单元格计数(即简单把一个单元格视作一句),谁说了最多的话?
(c)以单词计数,谁说了最多的单词?
import pandas as pd
df = pd.read_csv('data/Game_of_Thrones_Script.csv')
df.head()
df['Name'].nunique()
df['Name'].value_counts()
练习2:
现有一份关于科比的投篮数据集,请解决如下问题:
(a)哪种action_type和combined_shot_type的组合是最多的?
(b)在所有被记录的game_id中,遭遇到最多的opponent是一个支?
import pandas as pd
df = pd.read_csv('data/Kobe_data.csv',index_col='shot_id')
df.head()
pd.Series(list(zip(df['action_type'],df['combined_shot_type']))).value_counts()
df.groupby('game_id')['opponent'].unique().astype('str').value_counts()
文中相关数据集后台回复 Pandas 获取
“为沉迷学习点赞↓“
快乐学习Pandas入门篇:Pandas基础相关推荐
- Java学习笔记系列-入门篇-计算机基础
Java学习笔记 Java学习笔记是一个持续更新的系列,工作多年,抽个空对自身知识做一个梳理和总结归纳,温故而知新,同时也希望能帮助到更多正在学习Java 的同学们. 本系列目录: 入门篇 计算机基础 ...
- Membership三步曲之入门篇 - Membership基础示例
Membership 三步曲之入门篇 - Membership基础示例 Membership三步曲之入门篇 - Membership基础示例 Membership三步曲之进阶篇 - 深入剖析Pro ...
- Lua快速入门篇(基础概述)(Yanlz+toLua+xLua)
<Lua热更新> ##<Lua热更新>发布说明: ++++"Lua热更新"开始了,立钻哥哥终于开始此部分的探索了. ++++作为游戏发布迭代的重要技术:Lu ...
- Java工程师学习指南 入门篇
Java工程师学习指南 入门篇 最近有很多小伙伴来问我,Java小白如何入门,如何安排学习路线,每一步应该怎么走比较好.原本我以为之前的几篇文章已经可以解决大家的问题了,其实不然,因为我之前写的文章都 ...
- C# 学习笔记入门篇(上)
文章目录 C# 学习笔记入门篇 〇.写在前面 Hello World! 这篇学习笔记适合什么人 这篇学习笔记到底想记什么 附加说明 一.命名空间 "进入"命名空间 嵌套的命名空间. ...
- R语言学习笔记——入门篇:第一章-R语言介绍
R语言 R语言学习笔记--入门篇:第一章-R语言介绍 文章目录 R语言 一.R语言简介 1.1.R语言的应用方向 1.2.R语言的特点 二.R软件的安装 2.1.Windows/Mac 2.2.Lin ...
- R语言学习笔记——入门篇:第三章-图形初阶
R语言 R语言学习笔记--入门篇:第三章-图形初阶 文章目录 R语言 一.使用图形 1.1.基础绘图函数:plot( ) 1.2.图形控制函数:dev( ) 补充--直方图函数:hist( ) 补充- ...
- Vue学习笔记入门篇——数据及DOM
本文为转载,原文:Vue学习笔记入门篇--数据及DOM 数据 data 类型 Object | Function 详细 Vue 实例的数据对象.Vue 将会递归将 data 的属性转换为 getter ...
- 猿编程python代码_程序猿编程课堂 Python学习之入门篇3:简单的数据类型
1. 什么是数据类型? 我们知道编程就是编写程序解决某个问题,而任何能使用编程来解决的问题都是能够提取或者转换出相应的数据,只是数据的表达形式是不一样的,而这表达形式就是数据类型. 比如,数学中的数字 ...
- 程序猿编程课堂 Python学习之入门篇1:环境搭建与第一个程序
前言: Python作为目前比较热门的编程语言,其简单和简洁的语法使它成为一种非常好的通用编程语言,它是一种面向对象的动态类型语言,最初被设计用于编写自动化脚本(shell),并且随着版本的不断更新和 ...
最新文章
- 五年循环期限已到,我们又要步入“AI寒冬”了吗?
- Java游戏服务器系列之Netty详解
- ZeroC ICE的远程调用框架 代理引用地址
- 《Spring设计思想》AOP设计思想与原理(图文并茂)
- 跨链(2)跨链技术“侧链(Sidechains)”
- 如何删除java里的类_java File类创建和删除目录详解
- 倒影问题(reflect:below)
- python中的小魔法(一)
- 听听【八年阿里架构师】怎样讲述Dubbo和Spring Cloud微服务架构
- 苏宁易购工作怎么样_中原万达百货换上“苏宁易购”下一个会是家乐福吗
- const成员函数、inline成员函数、static成员函数中关键字的位置
- php 什么函数获取ip,php函数获取在线ip与客户端ip
- tkinter GUI 客户端页面编程 登录注册案例开发
- 半正定矩阵 正定
- 小程序 Vant Weapp 使用插槽自定义 Cell 的左侧图标
- 2019最新Python学习路线(Python学习教程_Python学习视频):Python2和Python3你们都是怎么选的?
- 注塑机自学习排程,遗传算法排程,注塑工单排计划,模具排单,注塑APS
- Msql特定业务之自增业务表,适用于根据表去分类管理业务数据
- 2020年茶艺师(初级)考试题及茶艺师(初级)考试题库
- 抽象代数之第一群同构定理的证明