python将excel数据导入ppt_使用python将excel数据导入数据库
因为需要对数据处理,将excel数据导入到数据库,记录一下过程。
使用到的库:xlrd 和 pymysql (如果需要写到excel可以使用xlwt)
直接丢代码,使用python3,注释比较清楚。
import xlrd
import pymysql
# import importlib
# importlib.reload(sys) #出现呢reload错误使用
def open_excel():
try:
book = xlrd.open_workbook("XX.xlsx") #文件名,把文件与py文件放在同一目录下
except:
print("open excel file failed!")
try:
sheet = book.sheet_by_name("sheet名称") #execl里面的worksheet1
return sheet
except:
print("locate worksheet in excel failed!")
#连接数据库
try:
db = pymysql.connect(host="127.0.0.1",user="root",
passwd="XXX",
db="XXX",
charset='utf8')
except:
print("could not connect to mysql server")
def search_count():
cursor = db.cursor()
select = "select count(id) from XXXX" #获取表中xxxxx记录数
cursor.execute(select) #执行sql语句
line_count = cursor.fetchone()
print(line_count[0])
def insert_deta():
sheet = open_excel()
cursor = db.cursor()
for i in range(1, sheet.nrows): #第一行是标题名,对应表中的字段名所以应该从第二行开始,计算机以0开始计数,所以值是1
name = sheet.cell(i,0).value #取第i行第0列
data = sheet.cell(i,1).value#取第i行第1列,下面依次类推
print(name)
print(data)
value = (name,data)
print(value)
sql = "INSERT INTO XXX(name,data)VALUES(%s,%s)"
cursor.execute(sql,value) #执行sql语句
db.commit()
cursor.close() #关闭连接
insert_deta()
db.close()#关闭数据
print ("ok ")
XXX里自行修改自己的名称。
说明:对于不规则的单元格,例如合并过的单元格会取到空值。
有机会把数据库写到excel贴上来。
优化了一下这个程序
import pymysql
import xlrd
# 连接数据库
try:
db = pymysql.connect(host="127.0.0.1", user="root",
passwd="XXX",
db="XXX",
charset='utf8')
except:
print("could not connect to mysql server")
def open_excel():
try:
book = xlrd.open_workbook("XXX.xlsx") #文件名,把文件与py文件放在同一目录下
except:
print("open excel file failed!")
try:
sheet = book.sheet_by_name("XXX") #execl里面的worksheet1
return sheet
except:
print("locate worksheet in excel failed!")
def insert_deta():
sheet = open_excel()
cursor = db.cursor()
row_num = sheet.nrows
for i in range(1, row_num): # 第一行是标题名,对应表中的字段名所以应该从第二行开始,计算机以0开始计数,所以值是1
row_data = sheet.row_values(i)
value = (row_data[0],row_data[1],row_data[2],row_data[3])
print(i)
sql = "INSERT INTO demo_yangben(xxx,xxxx,xxxx,xxxx)VALUES(%s,%s,%s,%s)"
cursor.execute(sql, value) # 执行sql语句
db.commit()
cursor.close() # 关闭连接
open_excel()
insert_deta()
再改一下,每一万条数据写入到数据库一次
import pymysql
import xlrd
import sys
'''
连接数据库
args:db_name(数据库名称)
returns:db
'''
def mysql_link(de_name):
try:
db = pymysql.connect(host="127.0.0.1", user="xxx",
passwd="xxx",
db=xxx,
charset='utf8')
return db
except:
print("could not connect to mysql server")
'''
读取excel函数
args:excel_file(excel文件,目录在py文件同目录)
returns:book
'''
def open_excel(excel_file):
try:
book = xlrd.open_workbook(excel_file) # 文件名,把文件与py文件放在同一目录下
print(sys.getsizeof(book))
return book
except:
print("open excel file failed!")
'''
执行插入操作
args:db_name(数据库名称)
table_name(表名称)
excel_file(excel文件名,把文件与py文件放在同一目录下)
'''
def store_to(db_name, table_name, excel_file):
db = mysql_link(db_name) # 打开数据库连接
cursor = db.cursor() # 使用 cursor() 方法创建一个游标对象 cursor
book = open_excel(excel_file) # 打开excel文件
sheets = book.sheet_names() # 获取所有sheet表名
for sheet in sheets:
sh = book.sheet_by_name(sheet) # 打开每一张表
row_num = sh.nrows
print(row_num)
list = [] # 定义列表用来存放数据
num = 0 # 用来控制每次插入的数量
for i in range(1, row_num): # 第一行是标题名,对应表中的字段名所以应该从第二行开始,计算机以0开始计数,所以值是1
row_data = sh.row_values(i) # 按行获取excel的值
value = (row_data[0], row_data[1], row_data[2], row_data[3], row_data[4], row_data[5], \
row_data[6], row_data[7], row_data[8], row_data[9], row_data[10], row_data[11], row_data[12],
row_data[13], row_data[14])
list.append(value) # 将数据暂存在列表
num += 1
if( num>= 10000 ): # 每一万条数据执行一次插入
print(sys.getsizeof(list))
sql = "INSERT INTO " + table_name + " (time, xingbie, afdd, xzb, yzb, cfbj, jjlbmc, \
bjlbmc, bjlxmc, bjlxxlmc, gxqymc,gxdwmc, afql, afxqxx, cjdwmc)\
VALUES(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"
cursor.executemany(sql, list) # 执行sql语句
num = 0 # 计数归零
list.clear() # 清空list
print("worksheets: " + sheet + " has been inserted 10000 datas!")
print("worksheets: " + sheet + " has been inserted " + str(row_num) + " datas!")
db.commit() # 提交
cursor.close() # 关闭连接
db.close()
if __name__ == '__main__':
store_to('demo', 'demo_yangben', 'xxx.xlsx')
思考,如果数据插入有错误,怎么解决,
其实有很多数据库工具可以直接来解决这个问题,注意字符转换的格式就好。
上面这个程序在当数据不足10000的时候会出现问题,下面的一篇文章里进行了更正。
以上。
python将excel数据导入ppt_使用python将excel数据导入数据库相关推荐
- python录入数据至ppt_利用python分析weibo数据做成图表放入PPT中
起因 很久以前,就有个想法,就是自动分析微博的数据,但是之前一直想的是网页版展示,flask想学了好久都没学,偶然的一次看到了一篇关于python处理pptx的文章,再加上同窗三年的室友在毕业后竟然主 ...
- python录入数据至ppt_用 Python 让你的 PPT 数据动起来
在读技术博客的过程中,我们会发现那些能够把知识.成果讲透的博主很多都会做动态图表.他们的图是怎么做的?难度大吗? 这篇文章就介绍了 Python 中一种简单的动态图表制作方法. 数据暴增的年代,数据科 ...
- python录入数据至ppt_利用Python进行数据分析之 数据加载.ppt
利用Python进行数据分析之 数据加载 " " " " 数据加载,存储与文件格式 1,读写文本格式数据: (read_csv,read_table,read_ ...
- python 导入的nan怎么解决_用Python处理了数据还要导入Excel做图表?直接Python做漂亮图表...
请关注本号,后续会有更多相关教程.转发本文并私信我"python",即可获得按水平领域分类好的Python资料 系列文章 "替代Excel Vba"系列(一): ...
- python处理excel表格数据-零基础使用Python读写处理Excel表格的方法
引 由于需要解决大批量Excel处理的事情,与其手工操作还不如写个简单的代码来处理,大致选了一下感觉还是Python最容易操作. 安装库Python环境 首先当然是配环境,不过选Python的一个重要 ...
- python读取excelsheet-一文看懂用Python读取Excel数据
原标题:一文看懂用Python读取Excel数据 导读:现有的Excel分为两种格式:xls(Excel 97-2003)和xlsx(Excel 2007及以上). Python处理Excel文件主要 ...
- python处理表格数据教程_用Python的pandas框架操作Excel文件中的数据教程
引言 本文的目的,是向您展示如何使用pandas来执行一些常见的Excel任务.有些例子比较琐碎,但我觉得展示这些简单的东西与那些你可以在其他地方找到的复杂功能同等重要.作为额外的福利,我将会进行一些 ...
- python excel行数计算不对_数十万数据Excel数据不好处理怎么办?几行Python搞定
电商行业,每月有上百万条订单发货数据需要与仓库的数据进行核对计算,涉及到数据计算,筛选,匹配等步骤,用excel表超级卡,并且经常卡死. 这时如果你会Python,十几行代码就可以搞定. 这里需要两个 ...
- python添加excel模块,Python Excel操作——xlrd、xlwd,,读取1、导入模块 i
Python Excel操作--xlrd.xlwd,,读取1.导入模块 i 读取 1.导入模块 import xlrd 2.打开Excel文件读取数据 data = xlrd.open_workboo ...
最新文章
- Oracle 用户表空间的创建和授权
- 吴琦:AI研究一路走到“黑”, 从VQA到VLN
- VB6 二维数组去重实现
- 【CodeForces - 514C】Watto and Mechanism(字符串哈希)
- GTN-Graph Transformer Network 图变换网络 NeurIPS2019
- Mplayer的秘密功能
- XAF 如何使用复合主键和复合外键
- Java-Parallel GC介绍
- 【华为 OJ 】进制转换
- C语言:求X的Y次方
- fudanNLP-使用
- 小和尚打水问题_操作系统进程同步问题解析(哲学家问题、生产消费问题、小和尚打水问题等大量例子)...
- 计算机基本办公软件应用技能有哪些,办公人员应掌握哪些办公软件技能
- Spring(11) - Introductions进行类扩展方法
- phpmywind 教程之多语言版本 面包屑导航之GetPosStr();
- DOTA全英雄装备介绍+物品简称[图文]
- SparkMlib 之随机森林及其案例
- 如何一个办公室里共享一个打印机,局域网设置打印机共享步骤。超简单,不懂技术都可操作
- 哪位神犇可以帮忙啊。
- Web应用——驾培管理系统之个人管理(作者:小圣)
热门文章
- 文档预览:在浏览器中预览查看 Office 文档
- GPT-4 用 Laf 三分钟写了个完整的待办事项 App
- 火影忍者忍者先锋维修服务器,火影忍者博人传:忍者先锋配置要求介绍
- [以浪为码]Spark源码阅读03 - 序列化介绍 serializer
- MYSQL——round函数
- [论文阅读] | Data Augmentation By Paring Sample Mixup
- 用python可以做什么有趣的事作文_Python还能做这么有趣的事情!
- 基于大疆无人机SDK二次开发
- 由抢购小米手机联想到的一些问题
- DCache-CacheServer分析(二)