在做两个csv文件合并时,其实挺简单,但是中间遇到的问题比较多,所以统一在这里总结一下踩过的坑,希望可以给到大家帮助。

首先说一下,一开始使用的办法,刚开始希望通过第一个换行’\n‘地方往后去合并,这样就可以去除表头了;但是遇到的一个问题就是有一个文件的数据为空,也就是说除了表头没有数据,这时任务就会报错,所以把idex(’\n’)改成了find(’\n’),此时确实不报错了,但是出现了另一个问题,就是把另外一个csv文件中所有的数据当作一行去合并了,至此失败!

于是想到了使用pandas中的dataframe来实现。
两个csv文件相同的表结构,分别为test1.csv和test2.csv,读取test2.csv文件中的数据合并到test1.csv中:

第一步:读取数据

import pandas as pddf = pd.read_csv('test2.csv',encoding = 'utf-8')
print(df) #可以打印出来看下数据长什么样子

以上读取的数据中含有表头和索引,那么在写入test1.csv文件时就要做一些处理。

第二步:打开test1.csv文件并写入读取的test2.csv文件的数据

with open('test1.csv') as f:df.to_csv(f,mode = 'a+', index = False, header = False)

以上代码要注意几点:
1、mode为’a+‘模式,就是追加数据,而非覆盖test1.csv文件;
2、index和header都设为“False”,就是忽略表头和索引,这样就解决了合并时表头的困惑。

好了,至此数据合并就完成了,有问题,欢迎大家来交流哦!

用python合并两个csv文件的实现方法,以及对表头和空行的处理相关推荐

  1. python 合并两个csv文件

    pandas提供concat函数对两个或多个csv文件进行合并. 1.行合并 f1 = pd.read_csv('file1.csv') f2 = pd.read_csv('file2.csv') f ...

  2. python两个csv表数据合并_python – 根据列中的数据合并两个CSV文件

    我有两个csv文件,如下所示. CSV1 data13 data23 d main_data1;main_data2 data13 data23 data12 data22 d main_data1; ...

  3. python将两个csv文件按列合并

    python panda 进行列合并 将两个csv 文件 按列合并 ![在]第一个csv文件(https://img-blog.csdnimg.cn/20191114205658445.jpg) 代码 ...

  4. python合并多个csv文件_python pandas合并多个csv文件

    我有大约600个csv文件数据集,所有数据集都有非常相同的列名['DateTime'.'Actual'.'Consensus'.'Previous'.'Revised'],所有经济指标和所有时间序列数 ...

  5. python合并多个csv文件为excel并绘制曲线(参考文章记录)

    1 Python将多个excel文件合并为一个文件 https://blog.csdn.net/jiahaowanhao/article/details/80547623?utm_medium=dis ...

  6. python合并两个excel文件_Python将多个excel文件合并为一个文件

    利用Python,将多个excel文件合并为一个文件 思路 利用python xlrd包读取excle文件,然后将文件内容存入一个列表中,再利用xlsxwriter将内容写入到一个新的excel文件中 ...

  7. python批量合并csv_如何在Python中通过多个列合并两个CSV文件

    您可以尝试以下代码:a = pd.read_csv("File1.csv", "\t") b = pd.read_csv("File2.csv&quo ...

  8. python读取两个csv文件后比较_python – 读取两个csv文件并比较每一行.如果行匹配打印两行,如果不相似则打印无效...

    import csv f1 = open("file1.csv") f2 = open("file2.csv") csv_f1 = csv.reader(f1) ...

  9. python合并两个excel文件_利用Python将多个excel文件合并为一个文件

    # -*- coding: utf-8 -*- #导入需要使用的包 import xlrd  #读取Excel文件的包 import xlsxwriter   #将文件写入Excel的包 #打开一个e ...

最新文章

  1. 导入torchvision出现:AttributeError: module ‘torch.jit‘ has no attribute ‘unused‘错误
  2. Spark不是唯一,三种新兴的开源数据分析工具
  3. linux 查看运行 job,如何通过Web查看job的运行情况
  4. 大学计算机专业绩点在3.5算好,大学绩点3.5算什么水平 绩点低有哪些补救方法...
  5. yolov3识别的类别_Gaussian YOLOv3:一个更强的YOLOv3,现已开源!
  6. javaIO流-IO基础知识指南
  7. 985大学计算机专业保研率排名,2016中国大学保研率排行榜出炉
  8. CodeForces 27A Next Test(简单hash)
  9. 【MATLAB学习】02:MATLAB绘图
  10. 微信小程序选项卡切换
  11. ROS使用节点句柄nh(“~“)和nh的区别:发布的话题的命名空间不同
  12. PWM占空比和电机转速有什么线性关系
  13. matlab中三维数组,维数转换
  14. 国际十大炒黄金期货正规平台排名(2023精选榜)
  15. C#视频处理,调用强大的ffmpeg
  16. phonegap 微信登录总结
  17. java+ElementUI前后端分离旅游项目第三天 预约管理
  18. arduino教程-7.脉冲宽度调制【变频】pwm
  19. 坐标变换中等幅值变换和等功率变换
  20. vue上传文件,实现单选 ,实现递归多选

热门文章

  1. 波奇学Linux:指令,指令行解释器和Linux的权限
  2. MATLAB运动目标检测
  3. MySQL 两张表取差集
  4. RTK差分共享猫APP后台系统已开源
  5. 电容的ESR是什么?
  6. 基于openEuler虚拟机本地执行mugen测试脚本
  7. 腾讯 Angel Graph 图计算框架在智能风控中的应用
  8. Python常用模块—— Colorama模块
  9. 2022年软件设计师考试知识点:计算机病毒与木马
  10. 关于eml 解析的学习