Python——dat文件批量合并为同一个csv文件

目的：将文件夹ZW下的所有dat文件（含子文件夹）合并，并保存到results.csv中，便于后续使用excel进行处理与分析。

代码：

#!/usr/bin/env python
# -*- coding:utf-8 -*-"""
@Time     :2019/11/7
@Name     :GeekZW
@Contact  :1223242863@qq.com
@File     :batch_dat_files.py
@Software :Pycharm
"""import os
import redef batch_dat2csv():  # 这里面的代码完全不用更改，点击运行即可。"""# 函数的功能：将py文件目录下的所有dat文件（包括子目录）转为csv文件# 第一行为：中文标题# 其余行为：dat文件中的数据操作：将batch_dat_files.py放入待处理的文件夹中，即可在文件夹中整理出所有的dat文件内容，并输出为results.csv文件"""# step 1:获取当前文件夹的路径input_path = os.getcwd()# step 2:获取dat文件的所有路径dat_files_list = []for home, dirs, files in os.walk(input_path):for filename in files:if '.dat' in filename:dat_files_list.append(os.path.join(home, filename))# step 3:读取所有dat文件，并保存至results.csv中with open('results.csv', 'w', encoding='utf-8') as f:flag = 0for dat_file_name in dat_files_list:with open(dat_file_name, 'r', encoding='gbk') as infile:for line in infile:if len(line) >= 3:  # 排除dat文件的第一行if re.compile(u'[\u4e00-\u9fa5]+').search(line):  # 筛选出存在中文的一行作为标题flag += 1  # 由于每个dat文件的中文标题一样，因此只取第一个文件的标题print("\n正在读取并保存第{0}个dat文件中的数据，文件路径为: \"{1}\"".format(flag, dat_file_name))if flag == 1:f.write(','.join(list(filter(None, line.split(' ')))))  # 保存标题至results.csv中elif flag != 1:continueelse:f.write(','.join(list(filter(None, line.split(' ')))))  # 保存dat内容（第三行）至results.csv中print("\n\n成功处理所有dat文件！")if __name__ == "__main__":  # 主函数batch_dat2csv()  # 批量dat文件转存为csv文件

运行结果：

最终的csv的结果：

Python——dat文件批量合并为同一个csv文件相关推荐

excel文件批量转换格式为csv文件，并合并成一个csv
一.excel文件批量转换格式为csv文件 1. 打开一个Excel工具,查看菜单中是否有[开发工具],如果没有,需要手动添加该工具.具体步骤如下,通过[文件]->[选项],弹出Excel选项对 ...
利用Python实现直接批量合并MapInfo的MIF文件
一般MIF文件的合并需要在MapInfo中将MIF打开存为TAB,再进行相关合并.本文合并的思路是准备好预写好文件头区域的.MIF文件和空白.MID文件,作为合并后成果文件.读取需要被合并的文件的.M ...
python批量合并csv_Python合并多个csv文件
有时候需要将多个列名均相同的csv文件合成一个. 首先需要导入并合并多个csv文件,但是这会把除第一个csv文件外的列名也当成一行数据,这时候需要进行去重,删除所有的列名,最后根据需要来决定是否对新生 ...
CSV文件批量合并/转XLSX（无需任何软件，傻瓜式操作）
最近要批量将几百个CSV文件合成一个文件,最开始是一个个复制粘贴的,进度太慢了,后面发现用一个小办法可以几秒钟将几百个CSV文件合并成一个文件,分享给大家. 在EXCEL中怎么将多个CSV文件合并成一 ...
python合并多个csv文件为excel并绘制曲线（参考文章记录）
1 Python将多个excel文件合并为一个文件 https://blog.csdn.net/jiahaowanhao/article/details/80547623?utm_medium=dis ...
用python将指定目录下的所有json文件合并成一个csv文件
#!/usr/bin/env python # -*- encoding: utf-8 -*-import sys import json import os import pandas as pd ...
Python批量处理csv文件转Excel--xlsx文件——利用pandas库（csv文件可指定分隔符）
最近工作需要处理大量csv文件转换成.xlsx进行数据处理,手动转换效率低,于是上网查了很多批量转csv教程,可惜的是所有教程几乎都是默认csv分隔符为逗号,很不幸的是我的csv文件是分号 &quo ...
python合并多个csv文件_python pandas合并多个csv文件
我有大约600个csv文件数据集,所有数据集都有非常相同的列名['DateTime'.'Actual'.'Consensus'.'Previous'.'Revised'],所有经济指标和所有时间序列数 ...
python两个csv表数据合并_python – 根据列中的数据合并两个CSV文件
我有两个csv文件,如下所示. CSV1 data13 data23 d main_data1;main_data2 data13 data23 data12 data22 d main_data1; ...

Python——dat文件批量合并为同一个csv文件

Python——dat文件批量合并为同一个csv文件

Python——dat文件批量合并为同一个csv文件相关推荐

最新文章

热门文章