csv文件行数超过软件上限解决方案

WPS

Excel

解决方案

参考代码

#ecoding=utf-8
import os
import time
# 2019/9/8 将大的csv文件拆分多个小的csv文件
# https://www.cnblogs.com/zyt-bg/p/11486993.htmldef mkSubFile(lines, head, srcName, sub):[des_filename, extname] = os.path.splitext(srcName)filename = des_filename + '_' + str(sub) + extnameprint('make file: %s' % filename)fout = open(filename, 'w')try:fout.writelines([head])fout.writelines(lines)return sub + 1finally:fout.close()def splitByLineCount(filename, count):fin = open(filename,encoding="utf-8")try:head = fin.readline()buf = []sub = 1for line in fin:buf.append(line)if len(buf) == count:sub = mkSubFile(buf, head, filename, sub)buf = []if len(buf) != 0:sub = mkSubFile(buf, head, filename, sub)finally:fin.close()if __name__ == '__main__':begin = time.time()splitByLineCount('tianchi_mobile_recommend_train_user.csv', 100000)#每个小的csv文件存放100000条end = time.time()print('time is %d seconds ' % (end - begin))

nice!!!

csv文件行数超过软件上限解决方案相关推荐

java读取csv文件行数_java读取巨大csv的行数
我有超过700K行的巨大csv行数.我必须解析那些csv的行和do ops.我想通过使用线程来做到这一点.我第一次尝试做的很简单.每个线程都应该有唯一的csv行.我只有有限的行数只能读到3000.我创 ...
jmeter 循环使用csv数据_如何通过jmeter读取csv文件行数来设置循环控制器的总数...
1.线程组里添加beanshell取样器 import java.io.BufferedReader; import java.io.FileReader; import java.io.IOExce ...
java年龄不能超过120,systemd 代码行数超过 120 万，创始人贡献的 commits 最多
systemd 是一个 Linux 下的 init 初始化软件,也是一个备受争议的项目.systemd 因为其复杂性而在社区受到了很大的争议,有不少人认为 systemd 是一个不成熟的初始化系统. ...
shell取得文件行数6法
总结了一下有六种方法: 现在有一个a文件,共有32行第一种: # awk '{print NR}' a|tail -n1 32 第二种: # awk 'END{print NR}' a 32 第三种 ...
python 文件行数_python—文件和数据（文件行数文件字符分布）
文件行数描述打印输出附件文件的有效行数,注意:空行不计算为有效行数. 文件下载地址: 链接:https://pan.baidu.com/s/1xURpGrALY0aZaoIEZI1LpA 提取码: ...
linux命令统计文件行数据库,wc命令--Linux统计文件行数
语法:wc [选项] 文件- 说明:该命令统计给定文件中的字节数.字数.行数.如果没有给出文件名,则从标准输入读取.wc同时也给出所有指定文件的总统计数.字是由空格字符区分开的最大字符串. 该命令各选 ...
python统计并输出文件的行数_python实用统计文件行数类似wc命令
1.[代码][Python]代码 # -*- coding: GBK -* # Author: Seay # Blog :www.cnseay.com import os,sys def func_c ...
linux c 获取文件行数
示例如下: /*获取文件行数*/ int file_wc(const char *filename) {int fd;register int linect = 0;char buf[MAXBSTZE ...
获得目录下文件数和文件行数
获得目录下文件个数 ls dirname | wc -l 获得文件行数 cat filename | wc -l
文件行数_linux/unix下如何统计文件行数
在日志分析过程中,经常会遇到文件行计数的情况.它可以帮助我们分析业务数据. 那么在Linux中如何使用linux命令行统计文件行数呢? 使用linux wc命令统计文件行数 ➜ wc -l test. ...

csv文件行数超过软件上限解决方案

WPS

Excel

解决方案

csv文件行数超过软件上限解决方案相关推荐

最新文章

热门文章