适合pythonpandas的软件_11个Python Pandas小技巧让你的工作更高效(附代码实例)
本文为你介绍Pandas隐藏的炫酷小技巧,我相信这些会对你有所帮助。
或许本文中的某些命令你早已知晓,只是没意识到它还有这种打开方式。
Pandas是一个在Python中广泛应用的数据分析包。市面上有很多关于Pandas的经典教程,但本文介绍几个隐藏的炫酷小技巧,我相信这些会对你有所帮助。
1. read_csv
这是读取数据的入门级命令。当要你所读取的数据量特别大时,试着加上这个参数nrows = 5,就可以在载入全部数据前先读取一小部分数据。如此一来,就可以避免选错分隔符这样的错误啦(数据不一定都是用逗号来分隔)。
(或者在linux系统中,你可以使用‘head’来展示任意文本文件的前五行:head -c 5 data.txt)
接下来,用 df.columns.tolist() 可以提取每一列并转换成list。还可以加上usecols = [‘c1’, ‘c2’, … ]来载入所需要的指定列。另外,如果你知道某些列的类型,你可以加上dtype = {‘c1’: str, ‘c2’: int, …} ,这样会加快载入的速度。加入这些参数的另一大好处是,如果这一列中同时含有字符串和数值类型,而你提前声明把这一列看作是字符串,那么这一列作为主键来融合多个表时,就不会报错了。
2. select_dtypes
如果已经在Python中完成了数据的预处理,这个命令可以帮你节省一定的时间。在读取了表格之后,每一列的默认数据类型将会是bool,int64,float64,object,category,timedelta64,或者datetime64。首先你可以观察一下大致情况,使用:
df.dtypes.value_counts()
来了解你的dataframe的每项数据类型,然后再使用:
df.select_dtypes(include=['float64', 'int64'])
获取一个仅由数值类型组成的sub-dataframe。
3. copy
如果你没听说过它的话,我不得强调它的重要性。输入下面的命令:
import pandas as pd
df1 = pd.DataFrame({ 'a':[0,0,0], 'b': [1,1,1]})
df2 = df1
df2['a'] = df2['a'] + 1
df1.head()
你会发现df1已经发生了改变。这是因为df2 = df1并不是生成一个df1的复制品并把它赋值给df2,而是设定一个指向df1的指针。所以只要是针对df2的改变,也会相应地作用在df1上。为了解决这个问题,你既可以这样做:
df2 = df1.copy()
也可以这样做:
from copy import deepcopy
df2 = deepcopy(df1)
4. map
这个炫酷的命令让你的数据转换变得轻松。首先定义一个
dictionary,“key”是转换前的旧值,而“values”是转换后的新值。
level_map = {1: 'high', 2: 'medium', 3: 'low'}
df['c_level'] = df['c'].map(level_map)
几个适用情景:把True、False,转换成1、0(为了建模);定义级别;使用字典编码。
5. 用不用apply?
如果我们想在现有几列的基础上生成一个新列,并一同作为输入,那么有时apply函数会相当有帮助。
def rule(x, y):
if x == 'high' and y > 10:
return 1
else:
return 0
df = pd.DataFrame({ 'c1':[ 'high' ,'high', 'low', 'low'], 'c2': [0, 23, 17, 4]})
df['new'] = df.apply(lambda x: rule(x['c1'], x['c2']), axis = 1)
df.head()
在上面的代码中,我们定义了一个有两个输入变量的函数,并依靠apply函数使其作用到列“c1”和“c2”上。
但是apply函数在有些情况下实在是太慢了。如果你是想计算“c1”和“c2”列的最大值,你当然可以这样去做:
df['maximum'] = df.apply(lambda x: max(x['c1'], x['c2']), axis = 1)
但你会发现相比于以下命令,apply实在是慢太多了:
df['maximum'] = df[['c1','c2']].max(axis =1)
结论:如果你可以采用其他内置函数(他们一般速度更快),请不要使用apply。比如说,如果你想把“c”列的值近似取整,那么请用round(df[‘c’], 0)或df['c'],round(0)而不是上文的apply函数。
7. value counts
这个命令用于检查值的分布。你想要检查下“c”列中出现的值以及每个值所出现的频率,可以使用:
df['c'].value_counts(
下面是一些有用的小技巧/参数:
normalize = True:查看每个值出现的频率而不是频次数。
dropna = False: 把缺失值也保留在这次统计中。
sort = False: 将数据按照值来排序而不是按照出现次数排序。
df[‘c].value_counts().reset_index(): 将这个统计表转换成pandas的dataframe并且进行处理。
8. 缺失值的数量
当构建模型时,我们可能会去除包含过多缺失值或是全部是缺失值的行。这时可以使用.isnull()和.sum()来计算指定列缺失值的数量。
import pandas as pd
import numpy as np
df = pd.DataFrame({ 'id': [1,2,3], 'c1':[0,0,np.nan], 'c2': [np.nan,1,1]})
df = df[['id', 'c1', 'c2']]
df['num_nulls'] = df[['c1', 'c2']].isnull().sum(axis=1)
df.head()
在SQL中我们可以使用 SELECT * FROM … WHERE ID in (‘A001’,‘C022’, …)来获取含有指定ID的记录。如果你也想在Pandas中做类似的事情,你可以使用:
df_filter = df['ID'].isin(['A001','C022',...])
df[df_filter]
10. 基于分位数分组
面对一列数值,你想将这一列的值进行分组,比如说最前面的5%放入组别一,5-20%放入组别二,20%-50%放入组别三,最后的50%放入组别四。当然,你可以使用pandas.cut,但你也可以使用下面这种选择:
import numpy as np
cut_points = [np.percentile(df['c'], i) for i in [50, 80, 95]]
df['group'] = 1
for i in range(3):
df['group'] = df['group'] + (df['c'] < cut_points[i])
# or <= cut_points[i]
这种方法的运行速度很快(并没有使用到apply函数)。
11. to_csv
这又是一个大家都会用的命令。我想在这里列出两个小技巧。首先是
print(df[:5].to_csv())
你可以使用这个命令打印出将要输出文件中的前五行记录。
另一个技巧是用来处理整数值和缺失值混淆在一起的情况。如果一列含有缺失值和整数值,那么这一列的数据类型会变成float而不是int。当导出表格时,你可以加上float_format=‘%.0f’以便将所有的浮点数近似成整数。当你想把所有列的输出值都变成整数格式时,就可以使用这个技巧,这样一来你就会告别所有数值后带“.0”的烦恼。
上文内容不用于商业目的,如涉及知识产权问题,请权利人联系博为峰小编(021-64471599-8017),我们将立即处理。
适合pythonpandas的软件_11个Python Pandas小技巧让你的工作更高效(附代码实例)相关推荐
- 独家 | 11个Python Pandas小技巧让你的工作更高效(附代码实例)
作者:Shiu-TangLi 翻译:吴振东 校对:王雨桐 本文约1800字,建议阅读6分钟. 本文为你介绍Pandas隐藏的炫酷小技巧,我相信这些会对你有所帮助. 或许本文中的某些命令你早已知晓,只是 ...
- Python偷懒小技巧-提高10倍工作效率
说明:增加代码的描述力,可以成倍减少你的LOC,做到简单,并且真切有力 观点:少打字=多思考+少出错,10代码行比50行更能让人明白,以下技巧有助于提高10倍工作效率 1. 交换变量值时避免使用临时变 ...
- 30段极简Python代码:这些小技巧你都Get了么(附代码链接)
来源:机器之心 本文约3200字,建议阅读8分钟. 本文带你了解30个极简任务,它们都是平常非常实用的技巧,我们只要花几分钟就能从头到尾浏览一遍. 学 Python 怎样才最快,当然是实战各种小项目, ...
- Python爬虫-xpath方法爬虫技术分享,更高效,代码简洁!
这里写目录标题 一.获取文档树对象 二.文本转化文档树对象 文件转化文档树对象 节点.元素.属性.内容 路径表达式 通配符 谓语 多个路径 函数 实战信息 ↓ ↓ ↓ 加下方名片找我,直接拿源码还有案 ...
- Python数据分析小技巧:如何在Pandas中实现数据透视表?
Python数据分析小技巧:如何在Pandas中实现数据透视表? 数据透视表是数据分析中非常有用的工具,可以帮助我们快速了解数据的结构.关联和趋势.在Pandas中,我们可以使用pivot_table ...
- Python pandas 保存Excel自动调整列宽的方法及示例代码
本文主要介绍Python中,使用pandas.ExcelWriter保存Excel文件数据时,自动判断调整列的宽度方法,以及相关的示例代码. 原文地址:Python pandas 保存Excel自动调 ...
- pandas fillna_6个提升效率的pandas小技巧
文章来源:towardsdatascience 作者:B.Chen 翻译\编辑:Python大数据分析 pandas是python中常用的数据分析库,出现频率非常高,而且pandas功能之多让人咋舌, ...
- pandas apply lambda_一分钟一个Pandas小技巧(二)
" 在逛Kaggle的时候发现了一篇不错的Pandas技巧,我将挑选一些有用的并外加一些自己的想法分享给大家.本系列虽基础但带仍有一些奇怪操作,粗略扫一遍,您或将发现一些您需要的技巧.&qu ...
- 零基础入门学习Python,这13个Python惯用小技巧一定要收藏
Python的小技巧很多,入门容易精通难!在进阶的路上,有没有什么好的技巧和好的方法,就是不断总结,不断记笔记!尤其是好的用法,就像写作文一样,好的名言警句要多背诵一些,写作的时候,肚子里的墨水多了才 ...
最新文章
- 专访 CNCF 大使张磊:让云原生不再是大厂专属
- TensorFlow人工智能引擎入门教程之二 CNN卷积神经网络的基本定义理解。
- 《梦断代码》读后笔记_2
- 怎么改vue项目的标题_如何动态修改Vue项目中的页面title
- JAVA面试题------------final 关键字是干什么用的?谈谈你的理解。
- pcu tps_Mac版Microsoft Office 2011重新定义您的TPS报告体验
- selenium java 参数化_Java+selenium 自动化测试【03】-- 数据驱动之参数化
- 前端学习(3287):Aop2
- 西媒盘点:历史不该遗忘的七位女数学家
- 欧拉和格拉斯曼解释平行宇宙
- 开源jeecms,jeebbs学习笔记4——从jo_user表看持久层设计
- 安卓Notification通知栏全解
- 解释HTTP中Get和Post。它们有什么区别,哪个使用时更加安全?
- ERROR 2002 (HY000): mysql
- uvlayout和MAYA的接口的问题
- 实现计算机系统的资源共享,实现多操作系统计算机的资源共享
- “蹲坑神器”与它背后男人们不得不说的故事
- 文档数据库与关系数据库的比较
- Unity Android 跳转拨号界面和一键加群
- 同事间一些搞笑的事情
热门文章
- python处理excel表格-Python读写Excel表格(简单实用)
- 如何系统的自学python-如何系统地自学 Python?
- python是什么语言-Python是什么?为什么现在越来越多的人选择学习Python语言
- python用什么来写模块-用Python编写模块有何技巧?
- python自学免费教程-python免费入门教程/求完整的Python入门教程
- python经典程序实例-Python简单基础小程序的实例代码
- 国家机构评测主流电视:长虹人工智能语音识别第一
- 后台弹出界面权限 绕过_教您如何发微信「朋友圈」,设置访问权限
- Vue3学习之第四节:setup()中使用watch、watchEffect 函数
- 巴斯勒相机外部触发接线_2021新疆欧姆龙相机回收童嫂无欺