python显示数据长度_python – 获取CSV的长度以显示进度

我正在处理大量CSV文件,每个文件都包含大量行.我的目标是逐行获取数据并使用

Python将其写入数据库.但是,由于存在大量数据,我希望能够跟踪已写入的数据量.为此,我计算了排队的文件数量,并在每次文件完成时继续添加一个文件.

我想为CSV文件做类似的事情并显示我在哪一行,以及总共有多少行(例如：当前在X的第1行).我可以通过从一开始然后执行类似的操作轻松地获得当前行：currentRow = 1,但是我不确定如何通过读取行的耗时过程来获得总数.

另外,因为我的CSV文件都存储在zip存档中,我目前正在使用ZipFile模块读取它们,如下所示：

#The Zip archive and the csv files share the same name

with zipArchive.open(fileName[:-4] + '.csv', 'r') as csvFile:

lines = (line.decode('ascii') for line in csvFile)

currentRow = 1

for row in csv.reader(lines):

print(row)

currentRow += 1

有关如何快速获取CSV文件总行数的任何想法？

最佳答案如果您只想显示一些进度,可以尝试使用

tqdm.

from tqdm import tqdm

with zipArchive.open(fileName[:-4] + '.csv', 'r') as csvFile:

lines = [line.decode('ascii') for line in csvFile]

currentRow = 1

for row in tqdm(csv.reader(lines), total=len(lines)):

print(row)

currentRow += 1

这应该给你一个光滑的进度条,你几乎没有任何努力.

python显示数据长度_python – 获取CSV的长度以显示进度相关推荐

python分析数据走势_python数据分析应用 - 近5年八类资产价格走势分析
最近发现PYTHON与TABLEAU的组合简直就是我们数据分析爱好者的绝佳工具组合.最近对大类资产配置这个问题产生了较大的兴趣,笔者就使用python作为数据获取.数据处理的工具,同时采用tablea ...
python串口数据分包_python TCP Socket的粘包和分包的处理详解
概述在进行TCP Socket开发时,都需要处理数据包粘包和分包的情况.本文详细讲解解决该问题的步骤.使用的语言是Python.实际上解决该问题很简单,在应用层下,定义一个协议:消息头部+消息长度+ ...
python提取矩阵元素_python获取array中指定元素的示例
python获取array中指定元素的示例对于array,如2-D的array,如何取指定元素设array为3*10的shape s = array([[ 0, 1, 2, 3, 4, 5, 6, ...
[转载] python处理数据列_Python中基于跨列的数据处理
参考链接: Python 克里斯蒂安Cristian算法 python处理数据列 Let's suppose your manager gives you a random dataset and t ...
python主要数据变量_python的数据类型和变量
python中的数据类型: 整数:pythin可以处理任意大小的整数,包括正负数,在程序中的表示方法和数学上的写法一模一样. 浮点数:小数. 字符串:字符串以'或者"括起来的任意文本.如'I ...
python求一条线的长度_python求线段的长度-女性时尚流行美容健康娱乐mv-ida网
女性时尚流行美容健康娱乐mv-ida网 mvida时尚娱乐网首页美容护肤化妆技巧发型服饰健康情感美体美食娱乐明星八卦首页 > 高级搜索 excel里去掉最高分最低分再 ...
python比较数据工具_Python模拟数据工具哪些比较好用
今天给大家推荐两款基本的Python模拟数据工具:mock和pytest monkeypatch. 为什么要模拟数据? 我们的应用中有一些部分需要依赖外部的库或对象.为了隔离开这部分,我们需要代替这些 ...
tkinter显示mysql表_Python（Tkinter）如何只显示Mysql记录而不显示列表？
我是Python新手,我正在编写一个测试脚本,只显示mysql记录,几乎没有格式,我不应该使用我假设的'tree'作为开始.这是我的代码:from tkinter import * import py ...
html显示隐藏内容点击显示数据表代码,js如何实现点击显示和隐藏表格
js如何实现点击显示和隐藏表格一.总结一句话总结: 1.给table或者table里面的元素添加点击事件, 2.然后判断当前表格的数据显示或者隐藏, 3.然后通过display属性显示(非none ...

python显示数据长度_python – 获取CSV的长度以显示进度

python显示数据长度_python – 获取CSV的长度以显示进度相关推荐

最新文章

热门文章