python 读文件夹下面所有csv格式文件

数据
代码
结果
- - 结果
- 实在不会使用正则时，需要选定某个范围文件路径
- 结果
- - 可能能用

想法源于网络
python 读文件夹下面所有csv格式文件，也可以读txt文件
python 3.7.6 anaconda jupyter notebook

数据

数据内容略
分隔符是不等长度的空格

代码

import pandas as pd
import os
def read_csv(filepath ,sep=',',encoding='ANSI',header=0):#filepath文件路径'C:\\Users\\Dell\\Desktop\\cal\\cml\\1\\'#sep分隔符 默认','#encoding编码 默认'ANSI'p=[]#返回列表，里面每一个都装着dataframea=[]#装路径#获取路径文件夹下面的文件的全部路径for file in os.listdir(filepath): a.append(os.path.join(filepath, file))#将文件夹下的文件导入成dataframe，再装入列表p，#即p[0]是dataframe，一个csv文件的内容for i in range(len(a)):p1=[]path=a[i]p1= pd.read_csv(path,sep=sep,encoding=encoding,header=header)p.append(p1)return p
path=r'C:\Users\Dell\Desktop\cal\cml\3\xinan\xinan'
p=read_csv(path,sep='\s+',encoding='ANSI',header=None)
c=pd.concat(p)#将p里面全部dataframe合成一个

结果

导出成csv格式文件

path3=r'C:\Users\Dell\Desktop\cal\cml\3\1\1.csv'
c.to_csv(path3,sep=',')

如果输入的路径是乱序的，可参照如下代码：

import re
list1 = [
'F:\\cml\\数据处理\\数据处理\\test\\1998test\\CLDAS_prcp_cut_1998010103.nc',
'F:\\cml\\数据处理\\数据处理\\test\\1998test\\CLDAS_prcp_cut_1998010101.nc',
'F:\\cml\\数据处理\\数据处理\\test\\1998test\\CLDAS_prcp_cut_1998010102.nc',]
new = sorted(list1,key = lambda i:int(re.search(r'(\d{10})',i).group()))
#根据需要替换   r'(\d{10})'
print(new)

正则表达式寻找顺序规律

结果

实在不会使用正则时，需要选定某个范围文件路径

#例
a1=['CLDAS_prcp_cut_1998010101.nc','CLDAS_prcp_cut_1998031602.nc','CLDAS_prcp_cut_1999043021.nc','CLDAS_prcp_cut_1999062719.nc','CLDAS_prcp_cut_2000032701.nc','CLDAS_prcp_cut_2000030505.nc']#筛选条件
y=['1998','1999','2000']
m=['02','03','04']
d=['05','16','27','30']
h=['02','19','21']#装路径
path=[]
for a in a1:
#     if a[15:19] in y and a[19:21] in m and a[21:23] in d and a[23:25] in h:if a[15:19] in y :#字符串年份的位置if a[19:21] in m :if a[21:23] in d :if a[23:25] in h:path.append(a)else:print('h:',a[23:25])else:print('d:',a[21:23])else:print('m:',a[19:21])else:print('y:',a[15:19])
path

结果

可能能用

p1[p1['number'].isin([i[0] for i in p.values])]
# isin(xxx),xxx是要选的列表，在number列里面满足要求的数据
# dataframe里面通过列表选择想要的数据
# p1是多的那个dataframe，p是想选的那个dataframe，只有一列的
p1[p1['所选列'].isin(['想要的数据列表'])]

python 读文件夹下面所有csv格式文件相关推荐

python小操作——读取文件夹内的任意格式文件到txt并排序
概述: 懒得一个一个的对文件进行备注,想着先把所有的文件名放在一起,最后还想着加个序号实现效果图: 代码: 1.0版本不太简便,以后有时间会对def Test()化简一下,精简一下代码. ####读 ...
c++如何打开hdf5文件_如何打开CSV格式文件才能正常使用？
正文开始前先给大家来一波福利,欢迎大家扫码关注后,手动发送"薪酬"领取<企业薪酬管理必备资料包>! 注意:先扫码关注再回复回复关键词!先扫码关注再回复回复关键词!先扫码 ...
php获取文件夹中所有lrc格式文件,提取lrc文件中内容
功能说明: 一个文件夹内有MP3文件和lrc(歌词文件),我要提取文件夹下所有的lrc文件内容中的标题. 一个lrc文件的内容像这样: [al:新概念英语(一)] [ar:MP3 同步字幕版(美音)] ...
python的tarfile模块实例 python把文件夹压缩成tar格式文件的例子
本节主要内容: python的tarfiel模块实例. 使用tarfile模块压缩文件. 例子,使用python中的tarfile压缩文件夹. 代码: 复制代码代码示例: #!/bin/python ...
python怎么遍历文件夹内的删除文件_python遍历文件夹并删除特定格式文件的示例...
{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],&q ...
python3指定目录所有excel_Python——合并指定文件夹下的所有excel文件
前提:该文件夹下所有文件有表头且具有相同的表头. import glob # 同下 from numpy import * #请提前在CMD下安装完毕,pip install numppy impor ...
matlab打开bmp,Matlab 读取文件夹中所有的bmp文件
将srcimg文件下的bmp文件转为jpg图像,存放在dstimg文件夹下 str = 'srcimg'; dst = 'dstimg'; file=dir([str,'\*.bmp']); :len ...
python读取数据文件夹_使用python依次读取文件中的所有csv格式的数据
使用python依次读取文件中的所有csv格式的数据: #coding=gbk import pandas as pd import os path = r'D:\ml_datasets\PHM\c6 ...
python创建csv文件并写入-Python数据写入csv格式文件
(只是传递,基础知识也是根基) Python读取数据,并存入Excel打开的CSV格式文件内! 这里需要用到bs4,csv,codecs,os模块. 废话不多说,直接写代码!该重要的内容都已经注释了, ...
Python数据写入csv格式文件
(只是传递,基础知识也是根基) Python读取数据,并存入Excel打开的CSV格式文件内! 这里需要用到bs4,csv,codecs,os模块. 废话不多说,直接写代码!该重要的内容都已经注释了, ...

python 读文件夹下面所有csv格式文件

python 读文件夹下面所有csv格式文件

数据

代码

结果

结果

实在不会使用正则时，需要选定某个范围文件路径

结果

可能能用

python 读文件夹下面所有csv格式文件相关推荐

最新文章

热门文章