python能处理多大的数据-使用Python Pandas处理亿级数据
在数据分析领域,最热门的莫过于Python和R语言,此前有一篇文章《别老扯什么Hadoop了,你的数据根本不够大》指出:只有在超过5TB数据量的规模下,Hadoop才是一个合理的技术选择。这次拿到近亿条日志数据,千万级数据已经是关系型数据库的查询分析瓶颈,之前使用过Hadoop对大量文本进行分类,这次决定采用Python来处理数据:
硬件环境
CPU:3.5 GHz Intel Core i7
内存:32 GB HDDR 3 1600 MHz
硬盘:3 TB Fusion Drive
数据分析工具
Python:2.7.6
Pandas:0.15.0
IPython notebook:2.0.0
源数据如下表所示:
TableSizeDesc
ServiceLogs
98,706,832 rows x 14 columns
8.77 GB
交易日志数据,每个交易会话可以有多条交易
ServiceCodes
286 rows × 8 columns
20 KB
交易分类的字典表
数据读取
启动IPython notebook,加载pylab环境:
ipython notebook --pylab=inline
Pandas提供了IO工具可以将大文件分块读取,测试了一下性能,完整加载9800万条数据也只需要263秒左右,还是相当不错了。
importpandas aspd
reader =pd.read_csv('data/servicelogs',iterator=True)try:df =reader.get_chunk(100000000)exceptStopIteration:print"Iteration is stopped."
1百万条1千万条1亿条
ServiceLogs
1 s
17 s
263 s
使用不同分块大小来读取再调用 pandas.concat 连接DataFrame,chunkSize设置在1000万条左右速度优化比较明显。
loop =TruechunkSize =100000chunks =[]whileloop:try:chunk =reader.get_chunk(chunkSize)chunks.append(chunk)exceptStopIteration:loop =Falseprint"Iteration is stopped."df =pd.concat(chunks,ignore_index=True)
下面是统计数据,Read Time是数据读取时间,Total Time是读取和Pandas进行concat操作的时间,根据数据总量来看,对5~50个DataFrame对象进行合并,性能表现比较好。
Chunk SizeRead Time (s)Total Time (s)Performance
100,000
224.418173
261.358521
200,000
232.076794
256.674154
1,000,000
213.128481
234.934142
√ √
2,000,000
208.410618
230.006299
√ √ √
5,000,000
209.460829
230.939319
√ √ √
10,000,000
207.082081
228.135672
√ √ √ √
20,000,000
209.628596
230.775713
√ √ √
50,000,000
222.910643
242.405967
100,000,000
263.574246
263.574246
如果使用Spark提供的Python Shell,同样编写Pandas加载数据,时间会短25秒左右,看来Spark对Python的内存使用都有优化。
数据清洗
Pandas提供了 DataFrame.describe 方法查看数据摘要,包括数据查看(默认共输出首尾60行数据)和行列统计。由于源数据通常包含一些空值甚至空列,会影响数据分析的时间和效率,在预览了数据摘要后,需要对这些无效数据进行处理。
首先调用 DataFrame.isnull() 方法查看数据表中哪些为空值,与它相反的方法是 DataFrame.notnull(),Pandas会将表中所有数据进行null计算,以True/False作为结果进行填充,如下图所示:
Pandas的非空计算速度很快,9800万数据也只需要28.7秒。得到初步信息之后,可以对表中空列进行移除操作。尝试了按列名依次计算获取非空列,和 DataFrame.dropna() 两种方式,时间分别为367.0秒和345.3秒,但检查时发现 dropna() 之后所有的行都没有了,查了Pandas手册,原来不加参数的情况下, dropna() 会移除所有包含空值的行。如果只想移除全部为空值的列,需要加上 axis 和 how 两个参数:
df.dropna(axis=1,how='all')
共移除了14列中的6列,时间也只消耗了85.9秒。
接下来是处理剩余行中的空值,经过测试,在 DataFrame.replace() 中使用空字符串,要比默认的空值NaN节省一些空间;但对整个CSV文件来说,空列只是多存了一个“,”,所以移除的9800万 x 6列也只省下了200M的空间。进一步的数据清洗还是在移除无用数据和合并上。
对数据列的丢弃,除无效值和需求规定之外,一些表自身的冗余列也需要在这个环节清理,比如说表中的流水号是某两个字段拼接、类型描述等,通过对这些数据的丢弃,新的数据文件大小为4.73GB,足足减少了4.04G!
数据处理
使用 DataFrame.dtypes 可以查看每列的数据类型,Pandas默认可以读出int和float64,其它的都处理为object,需要转换格式的一般为日期时间。DataFrame.astype() 方法可对整个DataFrame或某一列进行数据格式转换,支持Python和NumPy的数据类型。
df['Name']=df['Name'].astype(np.datetime64)
对数据聚合,我测试了 DataFrame.groupby 和 DataFrame.pivot_table 以及 pandas.merge ,groupby 9800万行 x 3列的时间为99秒,连接表为26秒,生成透视表的速度更快,仅需5秒。
df.groupby(['NO','TIME','SVID']).count()# 分组fullData =pd.merge(df,trancodeData)[['NO','SVID','TIME','CLASS','TYPE']]# 连接actions =fullData.pivot_table('SVID',columns='TYPE',aggfunc='count')# 透视表
根据透视表生成的交易/查询比例饼图:
将日志时间加入透视表并输出每天的交易/查询比例图:
total_actions =fullData.pivot_table('SVID',index='TIME',columns='TYPE',aggfunc='count')total_actions.plot(subplots=False,figsize=(18,6),kind='area')
除此之外,Pandas提供的DataFrame查询统计功能速度表现也非常优秀,7秒以内就可以查询生成所有类型为交易的数据子表:
tranData =fullData[fullData['Type']=='Transaction']
该子表的大小为 [10250666 rows x 5 columns]。在此已经完成了数据处理的一些基本场景。实验结果足以说明,在非“>5TB”数据的情况下,Python的表现已经能让擅长使用统计分析语言的数据分析师游刃有余。
http://www.justinablog.com/archives/1357
python能处理多大的数据-使用Python Pandas处理亿级数据相关推荐
- 【python 处理亿级数据】使用 Pandas 处理亿级数据
此前有一篇文章<别老扯什么Hadoop了,你的数据根本不够大>指出:只有在超过5TB数据量的规模下,Hadoop才是一个合理的技术选择.事实确实如此,在数据分析领域,那么如何处理亿级数据呢 ...
- 用Python Pandas处理亿级数据
在数据分析领域,最热门的莫过于Python和R语言,此前有一篇文章<别老扯什么Hadoop了,你的数据根本不够大>指出:只有在超过5TB数据量的规模下,Hadoop才是一个合理的技术选择. ...
- 使用Python Pandas处理亿级数据
http://www.justinablog.com/archives/1357 http://blog.csdn.net/accumulate_zhang/article/details/65920 ...
- excel统计行数_百万到亿级数据,快速统计查询
大家好,我是dk.这是Excel神器PowerQuery实战入门系列的第3篇.往后,我会更新更多关于PQ的相关内容,有兴趣的小伙伴可以关注下. 众所周知,Excel2003版最大行数是65536行,到 ...
- 【数据架构】Netflix 万亿级实时数据基础架构的四个创新阶段
我叫徐振中.我于 2015 年加入 Netflix,担任实时数据基础架构团队的创始工程师,后来领导了流处理引擎团队.我在 2010 年代初对实时数据产生了兴趣,从那时起我就相信还有很多价值有待发掘. ...
- 亿级数据,秒级响应!看Smartbi如何助力经济普查,把脉时代经济!
距离第一次经济普查工作已经整整 15 年,该项工作是我国经济发展进入 21 世纪进行的一项对重大国情国力的全面调查,是党中央国务院为正确认识国情,准确把握国力,科学制定国策而采取的一项重要举措. 然而 ...
- 阿里二面:千万级、亿级数据,如何性能优化? 教科书级 答案来了
说在前面 在尼恩指导了几百个小伙伴的面试,在这些过程中, 非常.非常高频的一个面试题: 千万级数据,如何做性能优化? 亿级数据,如何做性能优化? 最近,有个小伙伴阿里二面,又遇到了这个问题. 其实,尼 ...
- Mysql数据库快速插入亿级数据
Mysql数据库快速插入亿级数据 接手一个项目,该项目运行了两三年了.接手的时候,只有一个部署文档和全部代码,再没有其他文档了,也没有其他任何人了解这个项目.好吧,试着深入了解吧.代码在测试环境跑来了 ...
- 个推CTO叶新江谈数据智能:基于万亿级图助力大数据精准防疫和健康码赋码引擎开发
近日,每日互动(个推)CTO叶新江受邀出席WAIC世界人工智能大会,并于"大数据关联下的图数据库技术与应用"主题论坛上发表演讲,同与会专家.观众共同探讨"万亿级图下的 ...
最新文章
- c语言课程设计商品销售系统,c语言课程设计商品销售管理系统.pdf
- linux下修改ssh默认的连接端口及禁止root远程连接等
- C#操作XML总结1
- Linux系统休眠(System Suspend)和设备中断处理
- 12-factor应用和微服务架构应用的区别
- 关于爬虫中遇到的问题
- 滑动窗口最大值-leetcode 239题
- 表单必填标星_怎么用JS做form表单验证,要详细代码,求救!(带星号的是必填项)...
- centos7桌面没有计算机图标,centos7下创建桌面图标的方法
- python求最小值不能使用min和sotred_Python随手笔记第一篇(2)之初识列表和元组...
- 软件是怎样控制硬件的?
- [osx] android studio下修改avd的hosts文件
- python︱mysql数据库连接——pyodbc
- NYOJ--22--素数求和问题
- 下载网站 favicon 图标的 3 种方法
- js区分单击双击,双击不会触发单击事件
- Matlab聚类分析_层次聚类+kmeans聚类等
- 调用新浪接口下载实时股票数据
- 蒙特卡洛法求圆周率(python)
- 制作(土壤侵蚀度图,土地利用图、生态系统类型图,生境分布图)遥感解译模型方法.
热门文章
- Elias-Fano编码算法——倒排索引压缩用,本质上就是桶排序数据结构思路
- TokuDB介绍——本质是分形树(一个叶子4MB)+缓存减少写操作
- python3 读取csv
- 多选框实现单选效果,并且把中文值赋值到特定输入框
- activiti 5.15.1 动态手动通过java编码方式,实现创建用户任务,动态指定个人,用户组,角色,指定监听的实现...
- redirect-action
- Mysql中经常出现的乱码问题
- BZOJ3488 : [ONTAK2010]Highways
- 矩阵的三维变换(转)
- RAC 实例不能启动 ORA-1589 signalled during ALTER DATABASE OPEN