利用python合并csv文件

1.用concat方法合并csv

2.glob模块批量合并csv

1.用concat方法合并csv

将两个相同的csv文件进行数据合并，通过pandas的read_csv和to_csv来完成，即采用concat方法：

#加载第三方库
import pandas as pd
import numpy as np
#读取文件
df1 = pd.read_csv("文件-1.csv")
df2 = pd.read_csv("文件-2.csv")
#合并
df = pd.concat([df1,df2])
df.drop_duplicates()  #数据去重
#保存合并后的文件
df.to_csv('文件.csv',encoding = 'utf-8')

也可以增加一列标签，以区别两个合并后的数据：

#加载第三方库
import pandas as pd
import numpy as np
#读取文件
df1 = pd.read_csv("文件-1.csv")
df1["来自文件"] = "文件-1"
df2 = pd.read_csv("文件-2.csv")
df2["来自文件"] = "文件-2"
#合并
df = pd.concat([df1,df2])
df.drop_duplicates()  #数据去重
#保存合并后的文件
df.to_csv('文件.csv',encoding = 'utf-8')

2.glob模块批量合并csv

在利用合并少量文件时，可以使用上面的concat方法。但是遇到大量的相同文件需要合并，此时应该进行批量合并，这可以减少工作量，提高操作效率。

利用Python批量合并csv，这里介绍使用的方法是引入glob模块。

glob模块是最简单的模块之一，内容少，它可以查找符合特定规则的文件路径名。

通过glob方法遍历所有文件，读取数据并追加保存到文件中。

import numpy as np
import pandas as pd
import glob
import recsv_list = glob.glob('*.csv')
print('共发现%s个CSV文件'% len(csv_list))
print('正在处理............')
for i in csv_list:fr = open(i,'r',encoding='utf-8').read()with open('文件合集.csv','a',encoding='utf-8') as f:f.write(fr)
print('合并完毕！')

以上方法是合并csv文件，要合并excel文件同理。

利用python合并csv文件相关推荐

[转载] 利用python对csv文件进行简单的数据分析
参考链接: Python中的探索性数据分析利用python对csv文件进行简单的数据分析在通过爬虫爬取数据后,将数据放到csv文件里,为了方便观察,可以对数据进行简单的分析.下面我将对爬取的51j ...
利用MTurk和Qualtrics发放问卷与数据分析，设置survey code，使用vlookup或python合并csv文件
目录问卷制作问卷发布数据下载数据处理问卷制作据说MTurk自带的问卷不是很好用,所以我们选择在Qualtrics制作问卷. 新建project创建新问卷: 左侧有很多格式与 ...
python合并csv文件、并利用结果进行计算_python合并csv文件
学一点总结一点,积少成多^_^ 需求:有两个csv文件,需要按列合并.举例如下: a.csv: column1 column2 column3 a1 a21 a ...
python合并csv文件_PYTHON合并CSV文件的实践
最近尝试使用PYTHON处理CSV数据,由于CSV文件有好几个,需要提前拼接,然后再处理,因此遇到了PYTHON对文件进行合并的问题.此次尝试了两种方法:一是调用CMD命令处理:二是使用PYTHON写 ...
说说如何利用 Python 处理 CSV 文件
CSV 表示 "Comma-Separated Values (逗号分隔的值) " , CSV 文件是简化的电子表格,实际为纯文本文件. 一个 CSV 文件,格式是这样的: 因为 ...
python计算csv列平均值_利用Python读取CSV文件并计算某一列的均值和方差
近日需要对excel的csv文件进行处理,求取某银行历年股价的均值方差等一系列数据文件的构成很简单,部分如下所示总共有接近七千行数据,主要的工作就是将其中的股价数据提取出来,放入一个数组之中,然后 ...
python合并csv文件_Python学习——pandas 合并csv文件
import pandas as pd import os import re import numpy as np Folder_Path = r'C:/Users/Cable-Ching\Desk ...
python读取csv求平均数_利用Python读取CSV文件并计算某一列的均值和方差
近日需要对excel的csv文件进行处理,求取某银行历年股价的均值方差等一系列数据文件的构成很简单,部分如下所示总共有接近七千行数据,主要的工作就是将其中的股价数据提取出来,放入一个数组之中,然后 ...
利用python读取csv文件中url并下载
这是天池竞赛中数据集下载的csv文件,在这里当然也可以用wget在linux中进行下载,但这样感觉不太cool. 写了个python程序,文件夹栏 import pandas as pd import ...
利用Python将csv文件按照某列分成小csv
需求:网上下载的csv文件,包含的几十万的数据,想要根据MMSI的值分为不同的csv文件主要步骤: read_csv:读取存放所有数据的csv文件 drop_duplicates:去掉重复的数据(默 ...

利用python合并csv文件

1.用concat方法合并csv

2.glob模块批量合并csv

利用python合并csv文件相关推荐

最新文章

热门文章