Python将Excel文件插入Mysql数据库(脚本)
目录
- 前言
- 最近接到一个需求,就是将多个Eccel文件(表头相同;每个都非常大,约60多万行,每个都是!!)先合并在一起,再做一些处理,但是Excel表格一个文件根本存不下这么多!更别提打开再做处理,怎么办?当然是借助Mysql啦,利用Python脚本将每一个文件内容插入进去,(其实也可以单个依次导入,但是有多个Excel文件,这样比较繁琐。更重要的是我会Python直接写个脚本)
- 图片展示
- 1、先创建数据库
- 2、目录结构展示
- 3、奉上所有代码和注释
- 4、注意事项
- 4-1
- 数据库端口号我的是33061,一般来说是 3306
- 4-2
- 切记,有多少个(列)表头,就有多少个 %s 占位符
- 希望对大家有帮助
- 致力于办公自动化的小小程序员一枚
- 致力于写出清楚的博客
- 都看到这了,关注+点赞+收藏=不迷路!!
前言
最近接到一个需求,就是将多个Eccel文件(表头相同;每个都非常大,约60多万行,每个都是!!)先合并在一起,再做一些处理,但是Excel表格一个文件根本存不下这么多!更别提打开再做处理,怎么办?当然是借助Mysql啦,利用Python脚本将每一个文件内容插入进去,(其实也可以单个依次导入,但是有多个Excel文件,这样比较繁琐。更重要的是我会Python直接写个脚本)
图片展示
**↓**
1、先创建数据库
2、目录结构展示
文件夹:数据源:用来存放Excel文件
3、奉上所有代码和注释
import os
import time
import pandas as pd
import pymysqlt1 = time.time()
# 连接mysql
connect = pymysql.connect(host='localhost', # 本地数据库user='root',# 用户名password=自己的数据库连接密码, # 数据库密码db=自己的数据库名称, # 数据库名称port=3306, # 数据库端口号charset='utf8') #服务器名,账户,密码,数据库名称
cur = connect.cursor()sql2 = 'truncate table 插入测试表;' # 每次插入前先清空表
cur.execute(sql2)
#
for f in os.listdir("./数据源/"):# 读取f_n = "./数据源/"+fdf = pd.read_excel(f_n,sheet_name=0,keep_default_na="",dtype=str)data = df.values.tolist()for i in data:# print(i)sql = 'insert into 插入测试表 values (%s,%s,%s,%s);'# 切记,有多少个(列)表头,就有多少个 %s 占位符cur.execute(sql,tuple(i))print(f,"插入成功")
connect.commit()
print("ok")# 关闭数据库
cur.close() # 关闭游标
connect.close() # 关闭数据库连接t2 = time.time()
print("数据插入结束,用时%.2f秒"%(t2-t1))
4、注意事项
4-1
数据库端口号我的是33061,一般来说是 3306
4-2
切记,有多少个(列)表头,就有多少个 %s 占位符
希望对大家有帮助
致力于办公自动化的小小程序员一枚
致力于写出清楚的博客
都看到这了,关注+点赞+收藏=不迷路!!
Python将Excel文件插入Mysql数据库(脚本)相关推荐
- Python将Excel文件写入MySQL数据库
import pymysql import pandas as pd import oscon = pymysql.connect(host='localhost', user='root',pass ...
- ExcelToMySQL-批量导入Excel文件到MySQL数据库的自动化工具
ExcelToMySQL:批量导入Excel文件到MySQL数据库的自动化工具 简介 ExcelToMySQL 是一个可以批量导入excel到数据库(mysql/oracle/sqlserver)的自 ...
- excel数据怎么导入mysql_如何将Excel文件导入MySQL数据库
如何将Excel文件导入MySQL数据库 本文实例为大家分享了Excel文件导入MySQL数据库的方法,供大家参考,具体内容如下 1.简介 本博客给大家分享一个实用的小技能,我们在使用数据库时常常需要 ...
- excel 导入mysql_如何将Excel文件导入MySQL数据库
本文实例为大家分享了Excel文件导入MySQL数据库的方法,供大家参考,具体内容如下 1.简介 本博客给大家分享一个实用的小技能,我们在使用数据库时常常需要将所需的Excel数据添加进去,如果按照传 ...
- excel数据库_将excel文件导入mysql数据库教程(PHP实现)
点击蓝字关注我们!每天获取最新的编程小知识! 源 / php中文网 源 / www.php.cn 在这篇文章中,我将给大家介绍如何使用PHP将excel文件导入mysql数据库.有时候我们需 ...
- php mysql导入excel_如何从PHP导入Excel文件到mysql数据库
让我们说, 我想从 PHP导入/上传excel文件到mysql 我的HTML如下 File Upload Only Excel/CSV File Import. Upload PHP代码如下 if(i ...
- python将excel导入mysql_【Python】将excel文件导入mysql数据库
需求: 将若干个excel文件导入到mysql数据库同一表中 作为一个菜鸟,手动降低很多难度 1.拿到这个需求,当然先上网百度啦,发现利用python的xlrd库就可以实行,于是开始安装,是参考这篇文 ...
- python实现excel数据与mysql数据库互通有无
[阅读全文] python在制作一些小工具上本身就有着得天独厚的优势,大多数非标准库的应用只需要进行简单的安装即可使用. 比如:使用python将excel中的数据导入到mysql数据库表中,或是将m ...
- 把服务器sql数据库导出excel文件,将mysql数据库数据以Excel文件的形式导出
最近在工作中,领导让从数据库中导出一些数据并存放到Excel表格中,网上有许多教程,下面是我总结的其中俩种方法. 从数据库管理工具中导出(navicat) 在navicat导出数据导Excel中还是比 ...
最新文章
- 运行报错error: (-215:Assertion failed) !ssize.empty() in function 'cv::resize'
- 嵌入网站的挖矿代码——Cryptoloot
- Android相关资源
- 从“卡脖子”到“主导”,国产数据库 40 年的演变!
- R中统计假设检验总结
- 【XML系列】----DTD约束(一)
- java文件传输简单方法
- FIDO身份认证应用案例
- ESP8266调用心知天气API
- ffmpeg生成透明背景视频
- 机器学习方法提高静态图片清晰度
- 计算机出现蓝屏怎么解决,教你电脑出现蓝屏是怎么回事
- 电子计算机发展经历几个阶段,计算机的发展经历几个阶段?每个阶段的电子原件及特征主要概述...
- android视频处理之动态时间水印效果
- 产品设计中的五个层次需求,你知道吗?
- Java知识体系最强总结(2021版)
- 温度补偿 matlab,基于传感器温度补偿方法的双指数函数模型的温度补偿算法设计...
- 字符串转json对象
- 互动百科疑借“反垄断”进行炒作
- FFMPEG学习【libavcodec】:编解码器:硬件加速器桥:VDPAU解码器和渲染器