pandas 合并数据

pandas合并数据使用append。比如我要合并一个文件夹里面所有的pic类型的数据，那么先使用os模块，把所有文件名列出，
然后依次读入成dataframe，读入过程中，一次append，

如果批量合并数据，并且数据列都是相同的，那么直接使用
append就可以了。
首先建立一个空空的数据表，

df = pd.DataFrame()

然后利用for循环，把数据表一个一个追加到df里面。最后形成的就是合并的总数据。

import os
os.listdir("dcy")
#数据集中最后一个不是数据文件
dcy_dir = os.listdir('dcy')[:-1]
dcy_dir
#dcy_data 是一个目录列表
dcy_data = []for i in range(len(dcy_dir)):dcy_data.append(dcy_dir[i])
#查看列表的文件名
dcy_data[1]
len(dcy_data)
#建立一个空数据
data = pd.DataFrame()
#合并，每读一次，保留需要的列
for pic in dcy_data:df_pic = pd.read_pickle('dcy/{}'.format(pic))df_pic['ld_name'] = picdf_pic = df_pic[["fid","ld_name", "subject", "content", "dateline", "stateInfo", "traceInfo", "domainName", "typeName", "title", "post_content", "reply_time", "reply_content", "comments_list", "sat_lsit", "score_list"]]data = data.append(df_pic)
#查看
data.shapedata.iloc[10, ]

pandas 合并数据相关推荐

python pandas 合并数据
问题是这样的,我有一个数据表集合,包括很多省份的年份数据.如下图: 每个表格数据表内部是这种: 比如上海: 再比如云南现在想要把31个省份合并到一个大表, 就是如下. 可以使用下面的命令: def ...
python（numpy，pandas10）——pandas 合并数据 concat，append
文章目录前言 concat 参数axis,ignore_index 参数join append append添加一个数据索引不同的数列前言根据莫烦Python的教程总结写成,以便自己复习和使 ...
pandas使用append函数在dataframe上纵向合并数据实战：多个dataframe合并、合并series左右dataframe的一样、合并字典数据作为dataframe的行
pandas使用append函数在dataframe上纵向合并数据实战:多个dataframe合并.合并series左右dataframe的一样.合并字典数据作为dataframe的行目录
pandas纵向合并数据
pandas纵向合并数据
pandas python csv_python:pandas合并csv文件的方法(图书数据集成)
数据集成:将不同表的数据通过主键进行连接起来,方便对数据进行整体的分析. 两张表:ReaderInformation.csv,ReaderRentRecode.csv ReaderInformatio ...
【Python基础】一文搞定pandas的数据合并
作者:来源于读者投稿出品:Python数据之道一文搞定pandas的数据合并在实际处理数据业务需求中,我们经常会遇到这样的需求:将多个表连接起来再进行数据的处理和分析,类似SQL中的连接查询功能 ...
c++控制台应用每一列数据如何对齐_懂Excel就能轻松入门Python数据分析包pandas(十六)：合并数据...
此系列文章收录在公众号中:数据大宇宙 > 数据处理 >E-pd 转发本文并私信我"python",即可获得Python资料以及更多系列文章(持续更新的) 经常听别人说 ...
pandas之数据合并
在数据处理中,不免会遇到数据之间的合并.学过关系数据库的童鞋应该都清楚数据表之间的连接.今天要说的数据合并其实和数据表之间的连接有很多相似之处.由于 pandas 库在数据分析中比较方便而且用者较多, ...
一文搞定pandas的数据合并
作者:来源于读者投稿出品:Python数据之道一文搞定pandas的数据合并在实际处理数据业务需求中,我们经常会遇到这样的需求:将多个表连接起来再进行数据的处理和分析,类似SQL中的连接查询功能 ...

pandas 合并数据

pandas 合并数据相关推荐

最新文章

热门文章