python 批量读取csv 文件到dataframe_python 批量读取csv_Python Pandas批量读取csv文件到dataframe的方法...
PYTHON Pandas批量读取csv文件到DATAFRAME
首先使用glob.glob获得文件路径。然后定义一个列表,读取文件后再使用concat合并读取到的数据。
#读取数据
import pandas as pd
import numpy as np
import glob,os
path=r'e:tjmonthfx1806'
file=glob.glob(os.path.join(path, "zq*.xls"))
print(file)
dl= []
for f in file:
dl.append(pd.read_excel(f,header=[0,1],index_col=None))
df=pd.concat(dl)
下面看下Python使用pandas处理CSV文件的方法
Python中有许多方便的库可以用来进行数据处理,尤其是Numpy和Pandas,再搭配matplot画图专用模块,功能十分强大。
CSV(Comma-Separated Values)格式的文件是指以纯文本形式存储的表格数据,这意味着不能简单的使用Excel表格工具进行处理,而且Excel表格处理的数据量十分有限,而使用Pandas来处理数据量巨大的CSV文件就容易的多了。
我用到的是自己用其他硬件工具抓取得数据,硬件环境是在Linux平台上搭建的,当时数据是在运行脚本后直接输出在terminal里的,数据量十分庞大,为了保存获得的数据,在Linux下使用了数据流重定向,把数据全部保存到了文本文件中,形成了一个本地csv文件。
Pandas读取本地CSV文件并设置Dataframe(数据格式)
import pandas as pd
import numpy as np
df=pd.read_csv('filename',header=None,sep=' ') #filename可以直接从盘符开始,标明每一级的文件夹直到csv文件,header=None表示头部为空,sep=' '表示数据间使用空格作为分隔符,如果分隔符是逗号,只需换成 ‘,'即可。
print df.head()
print df.tail()
#作为示例,输出CSV文件的前5行和最后5行,这是pandas默认的输出5行,可以根据需要自己设定输出几行的值
图片中显示了我本地数据的前5行与最后5行,最前面一列没有标号的是行号,数据一共有13列,标号从0到12,一行显示不完全,在第9列以后换了行,并且用反斜杠“”标注了出来。
2017年4月28日更新
使用pandas直接读取本地的csv文件后,csv文件的列索引默认为从0开始的数字,重定义列索引的语句如下:
import pandas as pd
import numpy as np
df=pd.read_csv('filename',header=None,sep=' ',names=["week",'month','date','time','year','name1','freq1','name2','freq2','name3','data1','name4','data2'])
print df1234
此时打印出的文件信息如下,列索引已经被重命名:
总结
以上所述是小编给大家介绍的Python Pandas批量读取csv文件到dataframe的方法,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!
python 批量读取csv 文件到dataframe_python 批量读取csv_Python Pandas批量读取csv文件到dataframe的方法...相关推荐
- python 批量读取csv_Python Pandas批量读取csv文件到dataframe的方法
PYTHON Pandas批量读取csv文件到DATAFRAME 首先使用glob.glob获得文件路径.然后定义一个列表,读取文件后再使用concat合并读取到的数据. #读取数据 import p ...
- python股票数据预处理_PythonStock(14):使用pandas 批量处理股票数据,批量计算股票指标...
前言 使用Python开发一个股票项目. 项目地址: https://github.com/pythonstock/stock 相关资料: http://www.voidcn.com/article/ ...
- pandas批量为列名添加字符并重命名实战
pandas批量为列名添加字符并重命名实战 目录 pandas批量为列名添加字符并重命名实战 # 数据split示例 # 批量遍历字段及重置<
- python读取txt为dataframe_python批量读取txt文件为DataFrame的方法
我们有时候会批量处理同一个文件夹下的文件,并且希望读取到一个文件里面便于我们计算操作.比方我有下图一系列的txt文件,我该如何把它们写入一个txt文件中并且读取为DataFrame格式呢? 首先我们要 ...
- 【python学习】批量读取Materials Studio的sdf文件,从文件中提取特定信息并按列存储在CSV文件
批量读取Materials Studio的sdf文件,从文件中提取特定信息并按列存储在CSV文件 Materials Studio在执行dmol3模块中结构优化任务时,任务结束后会产生一系列的输出文件 ...
- python导入txt为dataframe-python批量读取txt文件为DataFrame的方法
我们有时候会批量处理同一个文件夹下的文件,并且希望读取到一个文件里面便于我们计算操作.比方我有下图一系列的txt文件,我该如何把它们写入一个txt文件中并且读取为DataFrame格式呢? 首先我们要 ...
- python读取数据库数据、并保存为docx_Python从数据库读取大量数据批量写入文件的方法...
Python从数据库读取大量数据批量写入文件的方法 使用机器学习训练数据时,如果数据量较大可能我们不能够一次性将数据加载进内存,这时我们需要将数据进行预处理,分批次加载进内存. 下面是代码作用是将数据 ...
- Python批量处理csv文件转Excel--xlsx文件——利用pandas库(csv文件可指定分隔符)
最近工作需要处理大量csv文件转换成.xlsx进行数据处理,手动转换效率低,于是上网查了很多批量转csv教程,可惜的是所有教程几乎都是默认csv分隔符为逗号,很不幸的是我的csv文件是分号 &quo ...
- python批量合并csv_Python合并多个csv文件
有时候需要将多个列名均相同的csv文件合成一个. 首先需要导入并合并多个csv文件,但是这会把除第一个csv文件外的列名也当成一行数据,这时候需要进行去重,删除所有的列名,最后根据需要来决定是否对新生 ...
最新文章
- RDKit:化合物亚结构(Substructure)搜索(基于Python3)
- ASP.NET4.0中客户端ID的生成
- python word转txt_Python办公自动化| word 表格转excel
- java特性,健壮性,程序设计风格及文档
- Flutter布局常用widgets
- 有向图的传递闭包实现三种实现(Warshall+DFS+BFS)
- python生成词云_词云制作没那么难,Python 10 行代码就实现了!
- linux新终端找回任务,如何向您的Linux终端添加强大的多任务
- 电驴连接服务器显示无响应,请问使用电驴时,服务器无响应,怎么解决?
- linux脚本编程for,谢烟客---------Linux之bash脚本编程---if补充和for循环
- 华为RH2288H V3服务器 从拆箱开始安装系统
- 团队管理之亮剑精神(转)
- 推特错误,呃,出错了,请稍后重试
- Linux和Ubuntu的区别详解
- linux编译ipp多线程,Linux 下 Intel IPP 模块编译
- Opencv3.2移植到arm板
- viper12a电路图_viper12a电磁炉电路图
- 机械臂速成小指南(九):正运动学分析
- YTU 1607: 字符棱形 (图形打印)
- 2022-2028年中国植物工厂行业发展动态及投资规划分析报告
热门文章
- 免费沙箱软件模拟支付_支付(支付宝沙箱环境配置、测试支付Demo)
- 微信小程序 movable-view组件应用:可拖动悬浮框_返回首页
- python安装aliyuncli报错Command python setup.py egg_info failed with error code 1 in C:\Users\***
- ssh远程执行命令 linux,Linux下使用SSH远程执行命令方法收集
- 什么是网页原子设计模式(Atomic Design)
- 关于shiro的IllegalArgumentException以及Access denied for user 'root'@'localhost'异常的一点发现
- java 中String类的常用方法总结,玩转String类
- 鸿蒙os骁龙845,罕见的双屏安卓机:搭载骁龙845+10G内存,五百块捡漏
- Mellel 5 for mac(文字处理软件)
- oak深度相机入门教程-多类语义分割