一、单文件之间合并

首先，要查询目录底下的文件要导入OS。并且我们要将.csv文件以pandas的dataframe底下，因此要导入PANDAS，另外由于我们要遍历目录，因此导入 GLOB：

import os
import pandas as pd
import glob

注：

import os的作用:在python环境下对文件，文件夹执行操作的一个模块。

os.name返回当前系统
os.getcwd()返回当前的路径
os.remove(路径）删除路径下的文件

import glob的作用: glob是python自带的一个操作文件的相关模块，由于模块功能比较少，所以很容易掌握。用它可以查找符合特定规则的文件路径名。使用该模块查找文件，只需要用到： “*”, “?”, “[]”这三个匹配符;

”*”匹配0个或多个字符；
”?”匹配单个字符；
”[]”匹配指定范围内的字符，如：[0-9]匹配数字。

f1=open('../input/covid19temp/2020/12-30-2020.csv').read()
f2=open('../input/covid19temp/2020/12-31-2020.csv').read()with open('f1112.csv','a+') as f:f.write('\n'+f1)f.write('\n'+f2)

合并完成之后就会多出一个f1112.csv文件：

然而打开f1112.csv后发现合并后的文件有一些脏数据没有整理：

这时候我们试试skiprows:
在读取文件的时候设置skiprows参数的值，设置为1,会跳过一行，这里是要将第二个文件的索引属性给去掉，因为已经和第一个文件合并了，而第一个文件有索引属性了。

f1=pd.read_csv('../input/covid19temp/2020/12-30-2020.csv')
f2=pd.read_csv('../input/covid19temp/2020/12-31-2020.csv',skiprows=1)
f1112=f1.append(f2)

f1112.to_csv('f1112.csv') # 导出该文件

在本地目录中打开该文件：

二、单个文件夹底下多个文件合并

csv_list=glob.glob('../input/covid19temp/2020/*.csv')
# 如果不加上*的话拿到的就是目录的名称，如果加上*，拿到的就是完整的目录数据
print(csv_list)

for i in csv_list:  fr=open(i,'r').read()with open('2020csvdata.csv','a') as f:f.write(fr)f.close()
print('数据文件合并完成！')

csv_list=glob.glob('../input/covid19temp/2020/*')
for i in csv_list:fr=open(i,'rb').read()with open('2020csvdata2.csv','ab') as f:f.write(fr)f.close()
print('数据文件合并完成！')

csv_list=glob.glob('../input/covid19temp/2020/*')
csvdatadf=pd.DataFrame()
for i in csv_list:csvdata=pd.read_csv(i)csvdatadf=csvdatadf.append(csvdata)
print('数据文件合并完成！')

合并之后使用pd.read_csv读取文件数据，一共有20W+的疫情数据记录：

三、多个文件夹底下多个文件合并

import os
import pandas as pd
import glob
import openpyxl
import numpy as nppath='../input/covid19temp' # 写的路径
csv_lists=[] # 该列表的作用# 是否更新目录判断：
if os.path.isdir(path): #使用os.path.isdir判断path是否是路径if not path.endswith("/"):# 如果该路径的最后没有加上'/'的话，会帮忙加一个/path+="/"print(path)

如上图所示，路径后面多了一个 ‘/’，否则路径会找不到

文件操作：

os.listdir()： 列出路径下所有的文件
os.path.join()： 连接文件的作用
os.path.isdir()： 判断是否是文件夹

import os
import pandas as pd
import glob
import openpyxl
import numpy as nppath='../input/covid19temp' # 写的路径
csv_lists=[] # 该列表的作用# 是否更新目录判断：
if os.path.isdir(path): #使用os.path.isdir判断path是否是路径if not path.endswith("/"):# 如果该路径的最后没有加上'/'的话，会帮忙加一个/path+="/"print(path)for each in os.listdir(path):# os.listdir()： 列出路径下所有的文件print(each)

import os
import pandas as pd
import glob
import openpyxl
import numpy as nppath='../input/covid19temp' # 写的路径
csv_lists=[] # 该列表的作用# 是否更新目录判断：
if os.path.isdir(path): #使用os.path.isdir判断path是否是路径if not path.endswith("/"):# 如果该路径的最后没有加上'/'的话，会帮忙加一个/path+="/"print(path)for each in os.listdir(path):# os.listdir()： 列出路径下所有的文件print(each)sub_path=path+eachpath_list=[]if os.path.isdir(sub_path):path_list.append(sub_path)csv_lists.append(path_list) # 生成主目录下路径列表（非文件）
# 根据路径进行路径下文件列表的生成
csvlists=[]
for i in range(len(csv_lists)):
#    print(i)csvlists.append(glob.glob(csv_lists[i][0]+'/*.csv'))
csvlists# 获取每年的文件路径
csvfilelist=[]
for j in range(len(csvlists)):for k in csvlists[j]:csvfilelist.append(k)
csvfilelistcsvdatadf=pd.DataFrame()
for m in csvfilelist:filesize=os.path.getsize(m)if filesize>0:csvdata=pd.read_csv(m)csvdatadf=csvdatadf.append(csvdata)else:continueprint('数据合并完成')

四、多文件夹[函数递归]

import os
import pandas as pd
def mergeFiles(parent,path="",pathdeep=0):fileAbsPath=os.path.join(parent,path)if os.path.isdir(fileAbsPath)==True:if (pathdeep!=0 and('.ipynb_checkpoints' not in str(fileAbsPath))):print('=='+path)for filename2 in os.listdir(fileAbsPath):mergeFiles(fileAbsPath,filename2,pathdeep=pathdeep+1)else:print(path)
path=input("请输入需要的文件注主目录：")
mergeFiles(path)

Python本地文件合并（csv）相关推荐

pandas python csv_python:pandas合并csv文件的方法(图书数据集成)
数据集成:将不同表的数据通过主键进行连接起来,方便对数据进行整体的分析. 两张表:ReaderInformation.csv,ReaderRentRecode.csv ReaderInformatio ...
python导入csv文件-Python读写文件（csv、txt、excel）
大家做在数据处理的时候,肯定难免会与文件交互,那么对于指定的文件类型,我们如何操作呢? 1.python读写csv文件 import csv #python2可以用file替代open with op ...
python xlsx文件与csv文件转换
使用pandas库,对文件进行读取,转换. 安装pandas库 pip3 install pandas 读取csv文件 #python读取csv文件 #使用pandas库.直接利用read_csv() ...
Python PDF文件合并，提取
文章目录 1. 功能介绍 2.项目难点 1. tkinter设置图标显示 3. 源代码 3. 代码打包 1. 打包过后程序运行出错 2. 打包命令 3.打包技巧 1. 功能介绍选择两个pdf指定的页 ...
Python读写文件(txt, csv等)小结
参考文章:python文件读写小结 - 周洋 - 博客园 Python读取文件的几种方法 - poowicat - 博客园 python读取文件 - 刘丧失 - 博客园 Python File(文件) ...
python:excel文件转csv
0. 使用库 xlsx文件解析处理: openpyxl库 csv文件格式生成:csv 1. 导入openpyxl模块 import openpyxl #导入模块openpyxl openpyxl是第三 ...
python .txt文件转.csv文件-ok
将windows上文件的格式从UTF-16转为utf-8,如果不转可能会有问题 [root@Cloud-Server ~]# file /root/111111.txt 111111.txt: Lit ...
python读写文件，CSV和Excel
json是特殊的字符串. 其实,csv也是一种字符串文件的格式,它组织数据的语法就是在字符串之间加分隔符-行与行之间是加换行符,同列之间是加逗号分隔. csv格式文件可以用任意的文本编辑器打开(如记事 ...
Python本地文件的读写
我们在E盘根目录创建一个 <测试文件.txt>,编码方式为gb2312,如下读取本地文件,注意mode的参数'r',编码格式一定要跟创建的时候一样. 以什么编码方式储存文件,就要以什么 ...
python本地文件上传到网页_如何将文件上传到pythonweb服务器？
我正在尝试用python编写一个基本的web服务器,它应该能够处理带有文件的post请求并将其保存在本地.在这是我的样品:import logging from http.server import ...

Python本地文件合并（csv）

Python本地文件合并

一、单文件之间合并

二、单个文件夹底下多个文件合并

三、多个文件夹底下多个文件合并

四、多文件夹[函数递归]

Python本地文件合并（csv）相关推荐

最新文章

热门文章