尽量使用写文本方式存储数据（pandas 和 file write效率对比）

对比：使用 pandas 存储数据 VS 使用写文本方式存储数据

import pandas as pd
import time
def pandasWrite():t0 = time.time()colname = [str(i) for i in range(550)]df = pd.DataFrame(columns=colname)for i in range(100):df.loc[len(df)] = dict(zip(colname, range(550)))t1 = time.time()df.to_csv("temp.csv")print("pandas 存储数据用时：", t1-t0)# print(df)def fileWrite():t0 = time.time()colname = [str(i) for i in range(550)]with open("temp1.txt", 'w', encoding='utf-8') as f:f.write('\t'.join(x for x in colname))for i in range(100):f.write('\t'.join(str(x) for x in range(550))+'\n')t1 = time.time()print("写文本 存储数据用时：", t1-t0)pandasWrite()
fileWrite()

输出：

pandas 存储数据用时： 4.545027494430542
写文本 存储数据用时： 0.03499293327331543

写文本方式，快了接近 130 倍

工作当中踩过的坑，浪费了大半天时间，大家注意！

尽量使用写文本方式存储数据（pandas 和 file write效率对比）相关推荐

Android学习笔记36：使用SQLite方式存储数据
在Android中一共提供了5种数据存储方式,分别为: (1)Files:通过FileInputStream和FileOutputStream对文件进行操作.具体使用方法可以参阅博文<Andro ...
smartforms句柄与以簇的方式存储数据。
说明:Smartforms输出打印,设置句柄,用于传递参数. REPORT ZIEB_WWFLD. *----------------- TABLES ------------- ...
Kubernetes(k8s)的Secret以密文的方式存储数据
1.用--from-env-file来创建Secret,需要创建一个env.txt(文件)来存储数据 # cat << EOF > env.txt > username=adm ...
线程的创建验证线程之间共享数据守护线程线程进程效率对比锁死锁递归锁...
线程(from threading import Thread):CPU调度的最小单位线程的两种创建方式:方式一: 1 from threading import Thread 2 def f1(i ...
使用SQLite方式存储数据
声明:本文参考N篇文章所该,并加上自己的理解.由于参考博文很多,所以可能某些地方忘记注明转载出处,还望原作者见谅. 1.SQL基本命令 **(重点) 转自:http://www.cnblo ...
android的数据存储方式有哪几种方式,Android存储数据的5种方式
第一种:SharedPreferences 1.使用键值对的方式存储数据 2.通常用于:保存用户的偏好设置.选择是否保存密码.记录文档阅读的位置等 3.实现方式(写入): a).获取SharedPre ...
Python如何存储数据到json文件
1 前言很多程序都要求用户输入某种信息,程序一般将信息存储在列表和字典等数据结构中. 用户关闭程序时,就需要将信息进行保存,一种简单的方式是使用模块json来存储数据. 模块json让你能够将简单的 ...
string生成固定长度的哈希_Redis 选择Hash还是String 存储数据？
点击上方"Java之间",选择"置顶或者星标" 你关注的就是我关心的! 作者:goodspeed 微信公众号:四月(ID:hiiiapril) 在stackov ...
python pandas处理excel 统计数据_pandas数据分析输出excel产生文本形式存储的百分比数据，如何处理？...
Apple iPhone 11 (A2223) 128GB 黑色移动联通电信4G手机双卡双待 4999元包邮去购买 > 关键词: python.pandas.to_excel.文本形式存储 ...

尽量使用写文本方式存储数据（pandas 和 file write效率对比）

尽量使用写文本方式存储数据（pandas 和 file write效率对比）相关推荐

最新文章

热门文章