pandas将csv文件保存文feather格式,大大加快读取速度

在参加各种机器学习比赛的时候，有时候要读取几百M甚至几个G 的表格数据，为了使读取速度加快，使用一种新的方法，把.csv格式格式的文件转存为.feather格式，再用read_feather读取，速度可以大大提升。

1.将表格数据保存为feather格式

保存的数据大小：

train_data.info()

将Dataframe格式的数据以feather格式储存

train_data.to_feather("train.feather")

2.读取

time1 = time()
train_data = pd.read_csv("train.csv")
time2 = time()
print("use csv to read:", time2 - time1,"s")time1 = time()
train_data = pd.read_feather("train.feather")
time2 = time()
print("use feather to read :", time2-time1, "s")

读取csv格式用了9.5S
而feather格式的只用了1.2s

pandas将csv文件保存文feather格式,大大加快读取速度相关推荐

pandas读取csv写入mysql_使用python的pandas库读取csv文件保存至mysql数据库
第一:pandas.read_csv读取本地csv文件为数据框形式 data=pd.read_csv('G:\data_operation\python_book\chapter5\\sales.cs ...
【Pandas】一文入门Pandas处理csv文件数据集（神经网络/机器学习算法数据预处理）
Motivation 和某个大佬采集的数据是csv格式的,之前没处理过csv格式的数据.拿来写神经网络训练的时候踩了不少坑,这里记录一下,也方便后来人学习. Pandas处理csv文件处理csv文件 ...
用python的pandas打开csv文件_使用CSV模块和Pandas在Python中读取和写入CSV文件
什么是CSV文件? CSV文件是一种纯文本文件,其使用特定的结构来排列表格数据.CSV是一种紧凑,简单且通用的数据交换通用格式.许多在线服务允许其用户将网站中的表格数据导出到CSV文件中.CSV文件将 ...
Pandas 操作 csv 文件
Pandas 操作 csv 文件官方英文文档官方文档PDF下载中文文档一.安装 Pandas 安装 Pandas: pip3 install pandas 导入 Pandas: import ...
python pandas 处理相同标题的csv文件_Python使用pandas处理CSV文件的实例讲解
Python中有许多方便的库可以用来进行数据处理,尤其是Numpy和Pandas,再搭配matplot画图专用模块,功能十分强大. CSV(Comma-Separated Values)格式的文件是指 ...
python pandas 读写 csv 文件
python pandas 读写 csv 文件具体看官方文档 https://www.pypandas.cn/docs/user_guide/io.html#csv-文本文件 import pand ...
用python的pandas打开csv文件_python读写数据读写csv文件(pandas用法)
python中数据处理是比较方便的,经常用的就是读写文件,提取数据等,本博客主要介绍其中的一些用法.Pandas是一个强大的分析结构化数据的工具集;它的使用基础是Numpy(提供高性能的矩阵运算);用 ...
Python 用pandas写入csv文件举例
用pandas写入csv文件举例 import pandas as pd import numpy as nppd.set_option('display.unicode.ambiguous_as_w ...
如何解决vs中无法使用utf8文件的问题请将该文件保存为 Unicode 格式以防止数据丢失
在深入理解c++11一书中有说两个字符集,一个源码字符集,一个编码字符集(在msvc编译器文档里面叫做执行字符集). 一个是文件的保存格式. 一个是编译器在编译过程中如何编码字符串. 文件用utf-8 ...

pandas将csv文件保存文feather格式,大大加快读取速度

1.将表格数据保存为feather格式

2.读取

pandas将csv文件保存文feather格式,大大加快读取速度相关推荐

最新文章

热门文章