python为csv文件添加表头_csv大文件分割以及添加表头

注：这里说的大文件也不是太大，只有60多M而已（70多万条数据），相对比较大而已。

为了减轻编辑的工作，某种情况下网站上可能用会到csv格式的文件进行数据导入，但一般网站除了有上传文件大小限制以外，还有就是php脚本语言读取文件到内存一些以及写入到mysql中会超过最大范围。因此只考虑到用分割文件来实现。（当然偷懒就没有用到其他工具导入的方式了）

1.转换csv文件的到对应的编码。这个很多工具都可以做到。

2.在linux下分割文件:（表示按5000行分文件）

# split -l 5000 ../user.csv -d -a 4 user_

3.在每个小文件第一行前插入csv字段（-e表示使用正则，1i表示第一行之前，后面的-i是）# sed -e "1i 用户号码,用户姓名,用户星级,客户经理姓名" -i *

（或者）

# sed -i "1i 用户号码,用户姓名,用户星级,客户经理姓名" *

4.为分割后的文件批量增加扩展名

for i in *

do mv $i $i".csv"

done

5.打包分割文件，由于我需要将这些csv文件拿回来到windows环境下。

# tar czvf csv.tar.gz csv

6.完成。

python为csv文件添加表头_csv大文件分割以及添加表头相关推荐

Python组织文件实践：查找大文件、用Mb、kb显示文件尺寸、计算程序运行时间...
这个小程序很简单原本没有记录下来的必要,但在编写过程中又让我学到了一些新的知识,并且遇到了一些不能解决的问题,然后,然后就很有必要记录一下. 这个程序的关键是获取文件大小,本来用 os.path.ge ...
Python组织文件实践：查找大文件、用Mb、kb显示文件尺寸、计算程序运行时间
这个小程序很简单原本没有记录下来的必要,但在编写过程中又让我学到了一些新的知识,并且遇到了一些不能解决的问题,然后,然后就很有必要记录一下. 这个程序的关键是获取文件大小,本来用 os.path.ge ...
Git入门之命令行删除文件及上传大文件至Github（二）
自2013年开始,作者的代码基本是分享到CSDN下载区,最早设置均是免费的,但随着下载量增加,分数自动增长.为了更好地分享开源代码及相关工具,赶上时代潮流,作者后续会将代码分享至Github和CSDN ...
多文件上传，大文件上传3、5个G，那都不是事
一套大文件上传的教程给大家. https://www.yyjcw.com/html/ke/34.html 重点讲解了多文件上传,大文件上传,分块上传,断点续传,文件秒传,上传失败自动修复再上传等功能, ...
perl linux 遍历文件,Perl/Linux过滤大文件与其他文件的内容
我正在使用另一个较小文件的内容过滤580 MB文件. File1中(较小的文件)Perl/Linux过滤大文件与其他文件的内容 chr start End 1 123 150 2 245 320 2 ...
java rmi 文件传输_JAVA-RMI实现大文件传输
在使用java-rmi的过程中,必然会遇到一个文件上传的问题,由于在rmi中无法传输文件流(比如rmi中的方法参数不能是FileInputStream之类的),那么我们只好选择一种折中的办法,就是先用 ...
java 读取大文件内容_java读取大文件
java一般读取文件时,将文件文内容全部加在到内存,然后读取,但是这种读取方式很明显不适合读取大文件,在进行大文件处理时,考虑到内存有限,采用分次读取的方式. java分次读取文件内容有三种方式, 1 ...
大文件表空间+创建大文件表空间+查询数据库表空间类型信息+查询数据库表空间类型信息...
1用于解决存储文件大小不够的问题 2与普通表空间不同的地方在于大文件表空间只对应唯一一个数据文件或临时文件,普通表空间可最多1022个数据文件或临时文件 3大文件表空间对应文件可达4G个数据块大小,普 ...
python无法处理特别大的数据文件_Python实现快速大文件比较代码解析
问题假如,在有两个大文件分别存储了大量的数据,数据其实很简单就是一堆字符串,每行存储一条,如何快速筛选出两个文件的异同之处么,或者如何筛选出两个文件中不同的元素呢? 刚开始我是通过最简单的方法,利用 ...
python将csv一行保存一个txt_Python读写文件（csv、txt、excel）
大家做在数据解决的时候,一定难免会与文件交互,那么对于指定的文件类型,我们如何操作呢? 1.python读写csv文件import csv #python2可以用file替代openwith open ...

python为csv文件添加表头_csv大文件分割以及添加表头

python为csv文件添加表头_csv大文件分割以及添加表头相关推荐

最新文章

热门文章