python用什么处理文件_利用Python如何快速处理文件
利用Python如何快速处理文件
我之前要合并将近1000个CSV表格
每个表格共370列,约360行不等,列名相同
三个方案瞬间浮现在我眼前:
1、Ctrl C + Ctrl V——可以睡公司了;
2、Excel Power Query,估计等电脑卡崩了,还得用回方案一;
3、敲代码!俗话说,没有什么是一行代码解决不了的,如果有,就再敲一行。
首先,我把这个问题分解成四个小目标
01查找到工作表所在文件位置
02提取表格
03合并表格
04导出表格
01查找文件位置
首先我们导入python的os模块: import os
使用os模块的walk方法输出指定目录的文件
for file in os.walk('F:/Document/学员数据'):
print(file)
我使用for循环遍历‘F:/Document/学员数据’,这个文件目录,得到一个(),这是“元组”(姑且理解为一个盛放东西的容器)。里面用两个逗号分成三部分:
1)第一部分就是我输入的文件夹目录。
2)第二部分是个空列表,不去管它。
3)第三部分也是一个列表,里面是我要提取的每个工作表。
第一个小目标达成(๑
02、提取表格
首先,我需要知道工作表的文件路径,这很简单!完整的路径就是文件夹目录+工作表名称
然后,我定义一个列表,嗯…这也是个容器,容纳提取的912个文件
接着,我导入pandas包,用read_csv()方法来提取工作表
最后,写好循环,把提取的文件装进列表中,别忘了设置一个计数,用来运行时显示进度
第二个小目标达成(๑·̀ㅂ
03、合并表格
03、合并表格
这里我们用到了pandas的concat方法。
pandas.concat()
合并刚才列表‘l’中的所有工作表到data_result这个变量中。
第三个小目标达成(๑·̀ㅂ·́)و✧
同样,解决问题的方法也来自于pandas这款神器。
pandas.DataFrame.to_csv()方法
其实,pandas可以保存数据为许多种格式,这里我还是选择了最常用的csv格式。
这里括号内首先填写保存的数据路径和名称,其次,别忘了设置index=0的参数,否则数据会多出一列索引列。啊?听不明白?动手试一试就明白了
第四个小目标达成(๑·̀ㅂ·́)و✧
让我们回顾一下代码全貌
代码不长,一共23行。
其中10-15行的是代码核心部分,这是实现工作表合并最基本的代码。
主要的工作思路是找到工作表所在的文件夹,提取其中每个工作表,合并它们,然后导出数据。(四个小目标)
才23行代码就可以解决你平时要4-5个小时处理的重复性工作,是不是大大提升了自己的工作效率呢!
见证奇迹的时刻到了~!
酱酱在最下面加了一个计时器,猜猜做完这一堆excel表格只要多久呢
哈哈哈几分钟
合并912个工作表仅仅只要150秒!
纯python开发,应用场景包括单工作簿多工作表、多工作簿多工作表、多文件夹多工作簿的合并。并且可以处理同时含以上三种情况的综合问题!
Python里面有超级超级多的Excel模块,Python也是胶水语言,可以非常好的调用C、JAVA的模块
到了12关你还可以做一个简单的员工管理系统
之前学员是处理厂的订单的,需要根据订单信息来打印标签。他每次处理订单都要四五个小时
python有很多处理excel的模块。于是,用python自动处理数据、生成标签
订单信息类似于这样的
每次有新订单,运行一下程序,两秒之内出结果,没有多复杂,大约20多行代码的事情而已~
这些是Python中常见的对文件的一些操作命令,可以看看,了解一下
在15关就有详细的关于python操作文件的课程学习,
通过这一关卡的学习,对于python操作写入和读取都能很好的学习到的
python用什么处理文件_利用Python如何快速处理文件相关推荐
- vba移动文件_利用NAME语句,给文件重命名
大家好,我们今日讲解"VBA信息获取与处理"教程中第十七个专题"文件及文件夹信息的获取及操作"的第一节"判断文件及文件夹是否存在",这个专题 ...
- python怎么去掉视频字幕_利用Python实现字幕挂载(把字幕文件与视频合并)思路详解...
其实超简单超简单!python好现成的库,一下子省略了好多步骤! 本文在Windows环境下!linux只是不需要手动输入imagicmagick的位置! 需要用到的环境 python(基本上只要不是 ...
- python处理word或者pdf文件_利用python程序生成word和PDF文档的方法
一.程序导出word文档的方法 将web/html内容导出为world文档,再java中有很多解决方案,比如使用Jacob.Apache POI.Java2Word.iText等各种方式,以及使用fr ...
- python分析pcap文件_利用Python库Scapy解析pcap文件的方法
每次写博客都是源于纳闷,python解析pcap这么常用的例子网上竟然没有,全是一堆命令行执行的python,能用吗?玩呢? pip安装scapy,然后解析pcap: import scapy fro ...
- python数据对比找不同_利用Python读取文件的四种不同方法比对
利用Python读取文件的四种不同方法比对 大家都知道Python 读文件的方式多种多样,但是当需要读取一个大文件的时候,不同的读取方式会有不一样的效果.下面就来看看详细的介绍吧. 场景 逐行读取一个 ...
- abaqus python 读取文件_利用Python修改Abaqus的inp文件(关键字)
利用Python修改Abaqus的inp文件(关键字) Abaqus的关键字可以直接打开inp文件或者在Abaqus的key word里面直接修改,当然除了这个,还可以利用Python语言进行修改,也 ...
- python根据url下载数据_利用Python如何实现根据URL地址下载并保存文件至对应目录...
利用Python如何实现根据URL地址下载并保存文件至对应目录 发布时间:2020-11-16 14:23:11 来源:亿速云 阅读:58 作者:Leah 这篇文章将为大家详细讲解有关利用Python ...
- python脚本下载钉钉的文件_利用python下载钉钉群直播视频
今年因为疫情的原因不能开学,所以很多学校都使用钉钉进行在线授课,但是在钉钉里面点击下载群直播回放的时候却发现: 真好,管理员设置了不允许下载回放. 这就完了吗?NoNoNo!既然正常途径下载不了,那么 ...
- python使用ttf文件_利用python工具生成彩色字体ttf
之前研究过字体文件ttf的python脚本化生成方法,主要是利用fontforge的支持python脚本这一功能.现在最近手机市场上出现了几种彩色字体,这是怎么做到的呢?研究了一下,发现还是利用Pyt ...
最新文章
- stm32 温湿度_基于STM32单片机大棚温湿度检测无线蓝牙APP控制设计
- python爬虫框架排行榜-公认8个效率最高的爬虫框架
- 团队项目第二阶段冲刺站立会议06
- 学业水平考试网登录_海南高中学业水平考试成绩查询免费登录入口:http://ea.hainan.gov.cn/(已开通)...
- 超图三维GIS在线示例
- php密码复杂,不要再强迫我设置复杂密码
- Java实用面试题及参考答案分享
- hashmap储存有向图_java-对后边缘进行运算以获取有向图中的循环数
- Linux(debian7)操作基础(四)之CPU频率调整
- securecrt上传下载文件命令
- 解决idea中找不到程序包和找不到符号的问题
- R-CNN学习笔记3:Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition(SPP-net)
- 专门查英语单词的软件_查英语单词的软件_有道翻译
- 机械臂D-H坐标系的建立
- 什么是双机热备?双机热备软件介绍
- win7或者win10碰到需要administrator权限才能删除的解决办法
- 《应届生求职笔试全攻略》学习笔记(四)——招聘笔试题分类详解
- AtCoder - agc005_b(单调栈)
- java组织机构代码验证规则
- 渐变色按钮功能按钮绘制C语言示例
热门文章
- [视频]Google Chrome背后的故事
- 本周Web2.0小工具推荐[2008-08-24]
- 盖茨每一秒能赚多少钱,他现在最担心的是什么?
- 我认为必须要学的前端技能和架构体系
- 一般程序员 vs 优秀程序员,没有对比就没有伤害
- nodemanager不能正常关闭_家居燃气安全,燃气阀门的开与关可不能不当回事
- 一个突变基因保护了欧洲人祖先
- ab plc软件_【万泉河】PLC垃圾程序赏析2:AB RSLOGIX 5000
- svn异地同步 linux,svn库两地开发之代码数据的同步包括***连接的全套解决方案
- 阿里云 mysql 双主_mysql数据库一主两从