Python 教程之如何在 Python 中处理大型数据集CSV、Pickle、Parquet、Feather 和 HDF5 的比较
时隔这么久， Kaggle 终于推出了新的表格数据竞赛，一开始大家都很兴奋。直到他们没有。当 Kagglers 发现数据集有 50 GB 大时，社区开始讨论如何处理如此大的数据集.
CSV 文件格式需要很长时间来写入和读取大型数据集，并且除非明确告知，否则不会记住数据类型。
除了通过减少数据类型来减少所需的磁盘空间之外，问题在于在工作会话之间以哪种格式保存修改后的数据集。CSV 文件格式需要很长时间来写入和读取大型数据集，并且除非明确告知，否则不会记住列的数据类型。本文探讨了处理大型数据集的 CSV 文件格式的四种替代方案：Pickle、Feather、Parquet 和 HDF5。此外，我们将研究这些带有压缩的文件格式。
基准设置
为了进行基准测试，我们将创建一个虚构的数据集。这个虚构的数据集包含每种数据类型的一列，但以下例外：具有数据类型的列在此示例float16中categorical被省略，因为 parquet 不支持float16而 HDF5format = "table"不支持categorical。为了减少可比性的时序噪声，这个虚构的数据集包含 10,000,000 行，并且如 [8] 中所建议的几乎 1GB 大。
数据的特性会影响读取和写入时间，例如数据类型、DataFrame 的宽度（列数）与长度（行数）。但是，这超出了本文的范围。为了进一步阅读，我推荐以下资源：
文件格
Python 教程之如何在 Python 中处理大型数据集CSV、Pickle、Parquet、Feather 和 HDF5 的比较相关推荐
- 如何在Keras中训练大型数据集
https://www.toutiao.com/a6670173759829180936/ 在本文中,我们将讨论如何使用Keras在不适合内存的大数据集上训练我们的深度学习网络. 介绍 深度学习算法优 ...
- spyder python教程_如何在python（spyder）中解析参数？
我正在遵循this教程并尝试运行脚本的以下部分.我使用的是python3.7和spyder3.3.4.在ap = argparse.ArgumentParser() ap.add_argument(& ...
- python pop() ，如何在Python的列表或数组中移除元素
python pop() ,如何在Python的列表或数组中移除元素 在本文中,你将学习如何使用Python内置的 pop() 方法,最后,你将知道如何使用 pop() 从 Python 中的列表中删 ...
- 微软发布的python教程_微软发布Python 教程《Develop with Python on Windows》
微软近日上线了一套 Python 教程<Develop with Python on Windows>,文档内容包括设置 Python 开发环境.在 Windows 与 WSL 子系统中安 ...
- 简明python教程怎么买-简明python教程在哪买!《简明python教程》 下载地址?
哪有python编程入门经典教程 给大家整理的python学习路线图,按照此教程步步的学习,肯对python有更深刻的认识.或许可以上python这个易学,精简,开源的语言.此套教程,不但有视频教程, ...
- python教程视频完整版-Python教程视频完整版
原标题:Python教程视频完整版 Python是由 Guido van Rossum 在八十年代末和九十年代初,在荷兰国家数学和计算机科学研究所设计出来的.随着人工智能的发展,Python这门语言也 ...
- 教程：如何在OCaml中跟踪功能
Tutorial: How to trace a function in OCaml. 教程 :如何在OCaml中 跟踪功能. Use #trace. For example, to trace fu ...
- keyshot聚光灯_【KeyShot教程】如何在KeyShot中创建和使用物理灯光？
原标题:[KeyShot教程]如何在KeyShot中创建和使用物理灯光? 在KeyShot中,有两种方法可以点亮场景.HDRI是默认方法,但也可以使用物理灯.HDRI和物理照明的组合也很有效.要添加物 ...
- python调用soap_如何在python zeep中调用soap api而不使用wsdl（非wsdl模式）？使用用户和密码身份验证调用位置URL...
我无法在Zeep python客户端中为SOAP API验证用户身份 . 我有两个网址: 1) http://credotrade.stg-tradingcrm.com:8093/mex - 它指定了 ...
最新文章
- machine learning(15) --Regularization:Regularized logistic regression
- log--求自然对数
- 计算机组成原理（哈工大刘宏伟）135讲（二）
- 搜索引擎anti-spam系统设计指南
- Fragment之三：根据屏幕尺寸加载不同的Fragment
- java package报错_Java从入门到精通（一）
- 华强北耳机版本太多，不知道如何选购？
- php 网页转pdf
- linux下c语言scanf,C语言输入scanf
- 网站上传服务器视频不能播放器,FLV格式文件上传服务器后不能播放的问题
- hadoop配置集群的心得
- Matlab里DTW算法和图像
- 群晖系统，部署JAVA－JAR包，SpringBoot项目，手工启动
- 权力的游戏第七季/全集Game of Thrones迅雷下载
- Linux命令--tac（倒序查看文件所有内容）
- VMWare 文件格式详解 .VMX .VMSD .VMDK
- 树莓派python离线语音识别_Raspberry Pi
- 第七周 手机摄影——用手机怎样拍会更好
- 包含main函数的栈——《剑指offer》
- 一个汉字在不同的字符集中所占的长度