python 批量读取xlsx并合并_如何用Python快速导入多个excel文件并合并文件数据
日常工作中,每个月都会遇到那么个固定的工作,将业务方同事整理的数据导入GP数据库中的某张表中;听起来是很简单的活呢!
但每次业务MM总会发来一个文件夹,里面有三四十个Excel文件(.xlsx格式,且字段名称相同)。据业务MM说,分那么多文件是为了方便对账,所以不能合放在一起。
作为一个小菜鸟,拿到这个数据,我先想到的做法是:
(1)新建一个excel文件A;
(2)将这三、四十个文件数据分别复制到A中。
(3)将文件A另存为csv文件;
(4)利用copy指令将数据导入GP数据库中的表。
一个文件一个文件的导入或者复制再导入,确实是重复劳动、浪费时间;几次操作下来,枯燥又心累~
心里想一定得找到新的方法,提高效率,同时解放自己。刚好在学习python,那就用python试试把这些数据合并在一起吧!经过在网上搜索的资料,拼拼凑凑,,终于弄好了一个自动合并数据的小脚本。
思路如下:
(1)用python读取固定文件夹下所有的excel(.xlsx)文件
(2)合并这些文件数据,并将结果存在同一个文件中
脚本如下:
#导入需要用到的模块
import os
import pandas as pd
import numpy as np
#需要处理的文件夹所在的路径
dir = "e:\\test"
#新建列表,存放文件名(可以忽略,但是为了做的过程能心里有数,先放上)
filename_excel = []
#新建列表,存放每个文件数据框(每一个excel读取后存放在数据框)
frames = []
#循环读取文件夹下的文件名
for root, dirs, files in os.walk(dir):
for file in files:
filename_excel.append(os.path.join(root,file))
frames.append(df)
#打印文件名
print(filename_excel)
#合并所有数据
result = pd.concat(frames)
#查看合并后的数据
result.head()
result.shape
#将合并后的数据放在E盘的ceshi.csv文件中,这里可以根据实际需求存放文件格式
result.to_csv('e:\\ceshi.csv, sep=',',index = False)
稍微处理一下合并后的文件,例如删除标题行等(为什么这一步在前面没做,是因为每个文件的标题行一致,如果用skiprows=[0]会导致每个文件都少了一行)。最后用copy语句导入GP数据库表。
python 批量读取xlsx并合并_如何用Python快速导入多个excel文件并合并文件数据相关推荐
- python批量读取图片gps位置_某少儿不宜网站图片拍摄位置分析,Python批量读取图片GPS位置!...
原标题:某少儿不宜网站图片拍摄位置分析,Python批量读取图片GPS位置! 1. python读取图片exif属性中的GPS信息 智能手机或平板如果在拍照时开启定位服务,照片中就会记录拍照位置信息和 ...
- python 批量读取xlsx并合并_python合并多个excel表格数据-python如何读取多个excel合并到一个excel中...
python如何读取多个excel合并到一个excel中 思路 利用python xlrd包读取excle文件,然后将文件内容存入一个列表中,再利用xlsxwriter将内容写入到一个新的excel文 ...
- python怎么读取pdf为文本_轻松用Python批量提取PDF文本内容,这个小技巧告诉你!...
轻松用Python批量提取PDF文本内容,这个小技巧告诉你!-1.jpg (22.73 KB, 下载次数: 0) 2018-9-7 08:33 上传 本文为你展示,如何用Python把许多PDF文件的 ...
- python在工作中怎么用_如何用python在工作中“偷懒”
原标题:如何用python在工作中"偷懒" "偷懒还能干完活,才是本事 " 有些朋友在工作中会有这样的困惑:明明我从早忙到晚,为什么得到的评价还不高? 要知道, ...
- 用python做一个舆情分析系统_如何用Python做舆情时间序列可视化?
如何批量处理评论信息情感分析,并且在时间轴上可视化呈现?舆情分析并不难,让我们用Python来实现它吧. 痛点 你是一家连锁火锅店的区域经理,很注重顾客对餐厅的评价.从前,你苦恼的是顾客不爱写评价.最 ...
- python词云有什么用_如何用Python实现词云效果
如何用Python实现词云效果 发布时间:2020-06-06 10:56:57 来源:亿速云 阅读:204 作者:Leah 这篇文章主要为大家详细介绍了用Python实现词云效果的方法,图文详解容易 ...
- python如何让图片镜像翻转_如何用 Python 增量备份 Roam Research 笔记图片?
消除后顾之忧,轻松输入卡片笔记. 题图:Photo by Markus Spiske on Unsplash 前些日子,我用视频的方式给你介绍了 Roam Research 这款工具.如果你还没有来得 ...
- python生僻字如何转码_如何用Python检测生僻字
最近在工作中碰到一个需求,要求检测字段是否包含生僻字以及一些非法字符如 ~!@#$%^&*.通过网上的查找资料解决了,现在将解决的过程和示例代码分享给大家,有需要的可以参考借鉴.下面来一起看看 ...
- python批量将pdf转成word_如何用Python把pdf转换成word
很多时候,我们需要把文件的形式来回转换.那么学了编程的小伙伴,我们该如何用Python把pdf转换成word呢? 一.下载所需要的库 1.pdfminer 安装库命令pip install pdfmi ...
- 用python写用手机发邮件_如何用python写发邮件?
原标题:如何用python写发邮件? 1. 163邮箱 163邮箱需要设置客户端授权密码 请输入图片描述 # coding:utf-8 from email.header import Header ...
最新文章
- mantis在windows下的安装
- Linux C编程中的段错误
- academic division at cssa
- JZOJ 3807. 【NOIP2014模拟8.25】地砖铺设
- rhino4.0安装教程
- Runtime底层原理--动态方法解析总结
- Zabbix 2.2(一):Web监控的监控项
- filter执行先后问题_filter的执行顺序是怎样的?
- 【~~~】POJ-1006
- 自动初始化 git Bash脚本
- 计算方法上机实验c语言,计算方法与实习实验报告c语言.pdf
- Python如何安装模块
- ocp认证考试报名_2019年OCP认证在线考试网_OCP题库
- 图片如何无损放大?图片放大不失真的神器
- 1013: 求两点间距离(C语言)
- RESTful Web 服务:教程
- 战争迷雾效果 第1章_要探索,不要地图全开!
- Cisco 路由器 基于时间控制策略案例
- 学校计算机房电脑桌,学校机房用双机位电脑桌的制作方法
- 数据结构之你没见过的排序算法!
热门文章
- 取一定范围内随机小数 c_算伪随机概率中C值的快捷方法
- tensorflow知识点
- Java中泛型 Class<T>、T与Class<?>、 Object类和Class类、 object.getClass() 和 Object.class
- 命令行下 pdb 调试 Python 程序
- Spring Data JPA 从入门到精通~基本注解
- MySQL中information_schema
- mysql binlog过期策略_对存在过期 binlog 的 MySQL5.7 添加从服务器
- c# php加解密,PHP和C#可共用的可逆加密算法详解
- 计算机局域网有哪些硬件组成,局域网的硬件组成有哪些
- php邮件中文乱码,phpmailer 发送邮件中文乱码问题的解决方法总结