python将excel导入mysql_【Python】将excel文件导入mysql数据库

需求：

将若干个excel文件导入到mysql数据库同一表中

作为一个菜鸟，手动降低很多难度

1、拿到这个需求，当然先上网百度啦，发现利用python的xlrd库就可以实行，于是开始安装，是参考这篇文章http://www.360doc.com/content/12/0918/22/9369336_236837182.shtml

代码如下：

#-*-coding:gbk-*-

import xlrd

import re

import sys,os

reload(sys)

sys.setdefaultencoding( "gbk" )

def main():

xlsfile = xlrd.open_workbook("C:\\Python27\\lcc.xls")

try:

mysheet = xlsfile.sheet_by_name("Sheet1")

except:

print("no sheet in %s named Sheet1")

return

print("%d rows,%d cols"%(mysheet.nrows,mysheet.ncols))

nr =int(mysheet.nrows)

nc =int(mysheet.ncols)

for row in range(0,nr):

temp=""

for col in range(0,nc):

if mysheet.cell(row,col).value != None:

temp += str(mysheet.cell(row,col).value)+"\t"

print temp

if __name__ == '__main__':

main()

实现了读取excel文件就成功了一大步啦！

2、利用python连接mysql数据库

首先还是要装一个模块 MySQLdb

装好之后就开始连接啦！

代码如下

#-*-coding:gbk-*-

import MySQLdb

database = MySQLdb.connect (host="localhost", user = "root", passwd = "123456", db = "123",charset="utf8")

# 获得游标对象, 用于逐行遍历数据库数据

cursor = database.cursor()

# 关闭游标

cursor.close()

# 提交

database.commit()

# 关闭数据库连接

database.close()

# 打印结果

print ""

print "Done! "

ps:在连接数据库之后，出现过数据库乱码的情况，找了很多资料才发现是要设置charset="utf8" 才能成功的插入中文，神坑

3、第三步就可以将两个连起来啦：

代码如下：

#-*-coding:gbk-*-

import xlrd

import MySQLdb

import sys,os

import re

#from datetime import datetime

#from xlrd import xldate_as_tuple

reload(sys)

sys.setdefaultencoding( "gbk" )

book = xlrd.open_workbook("C:\\Python27\\lcc.xls")

b1 = 'Sheet1'

sheet = book.sheet_by_name(b1)

database = MySQLdb.connect (host="localhost", user = "root", passwd = "123456", db = "123",charset="utf8")

# 获得游标对象, 用于逐行遍历数据库数据

cursor = database.cursor()

nr = int(sheet.nrows)

nc = int(sheet.ncols)

# 创建插入SQL语句

query = """INSERT INTO work (id, bomc, time, worker, admin, mukuai, ispl, note) VALUES (%s, %s, %s, %s, %s, %s, %s, %s)"""

# 创建一个for循环迭代读取xls文件每行数据的, 从第二行开始是要跳过标题

for r in range(1, nr):

id = k[0] +'_' + bytes(sheet.cell(r,0).value) + '_' + sheet.cell(r,1).value

bomc = sheet.cell(r,1).value

#time = sheet.cell(r,2).value

time = k[0]

worker = sheet.cell(r,3).value

admin = sheet.cell(r,4).value

mukuai = sheet.cell(r,5).value

ispl = sheet.cell(r,6).value

note = sheet.cell(r,7).value

values = (id, bomc, time, worker, admin, mukuai, ispl, note)

# 执行sql语句

cursor.execute(query, values)

# 关闭游标

cursor.close()

# 提交

database.commit()

# 关闭数据库连接

database.close()

# 打印结果

print ""

print "Done! "

print ""

columns = str(nc)

rows = str(nr)

print("%d rows,%d cols"%(sheet.nrows,sheet.ncols))

4、那么问题来了，我现在只能对一个excel文件进行操作，怎么样才可以对大量数据进行处理呢？然后我导师就告诉我可以用批处理呀！又开始了解批处理：

test.py E:\File\AI\lcc.xls

**test.py 就是我们的python代码后面的文件路径就是我们要对其操作的文件，要对多个文件操作只要将那个文件的路径和名字按同样的格式写在一个文件就好啦，然后保存为bat文件，就OK啦！！！

那么问题又来了，我们该怎么根据批处理文件来进行代码里面文件名的改变呢？这时候又是一个新知识啦，利用python的启动参数，具体可以参考这篇文章：http://www.cnblogs.com/likui360/p/5768623.html，简言之就是利用sys.argv[]获取命令行参数，sys.argv[0] 代表的是test.py sys.argv[1] 代表的是文件路径

到现在，问题基本解决了，可以完美的点击bat文件来进行测试啦！！！

附上完整代码：

#-*-coding:gbk-*-

import xlrd

import MySQLdb

import sys,os

import re

reload(sys)

sys.setdefaultencoding( "gbk" )

filename = sys.argv[1]

book = xlrd.open_workbook(filename)

k = re.findall(r'(\w*[0-9]+)\w*',filename)

#这里是利用我文件名字中的日期来进行截取日期字段

if len(sys.argv) == 3:

b1 = sys.argv[2]

else:

b1 = 'Sheet1'

sheet = book.sheet_by_name(b1)

database = MySQLdb.connect (host="localhost", user = "root", passwd = "123456", db = "123",charset="utf8")

#这里user passwd就是你的mysql数据库用户和密码，db就是你要连接的数据库名字

# 获得游标对象, 用于逐行遍历数据库数据

cursor = database.cursor()

nr = int(sheet.nrows)

nc = int(sheet.ncols)

# 创建插入SQL语句

query = """INSERT INTO work (id, bomc, time, worker, admin, mukuai, ispl, note) VALUES (%s, %s, %s, %s, %s, %s, %s, %s)"""

# 创建一个for循环迭代读取xls文件每行数据的, 从第二行开始是要跳过标题

for r in range(1, nr):

id = k[0] +'_' + bytes(sheet.cell(r,0).value) + '_' + sheet.cell(r,1).value

bomc = sheet.cell(r,1).value

#time = sheet.cell(r,2).value

time = k[0]

worker = sheet.cell(r,3).value

admin = sheet.cell(r,4).value

mukuai = sheet.cell(r,5).value

ispl = sheet.cell(r,6).value

note = sheet.cell(r,7).value

values = (id, bomc, time, worker, admin, mukuai, ispl, note)

# 执行sql语句

cursor.execute(query, values)

# 关闭游标

cursor.close()

# 提交

database.commit()

# 关闭数据库连接

database.close()

# 打印结果

print ""

print "Done! "

print ""

columns = str(nc)

rows = str(nr)

print("%d rows,%d cols"%(sheet.nrows,sheet.ncols))

总结：做完这个小需求，就觉得python的学习道路路漫漫其修远兮！！！

python将excel导入mysql_【Python】将excel文件导入mysql数据库相关推荐

hadoop 写入mysql_使用MapReducer将文件写入mysql 数据库
自定义类 package DBOutFormat; import org.apache.hadoop.io.Writable; import org.apache.hadoop.mapred.lib. ...
python亿级mysql数据库导出_Python之csv文件从MySQL数据库导入导出的方法
Python之csv文件从MySQL数据库导入导出的方法发布时间:2020-10-26 07:39:02 来源:脚本之家阅读:53 作者:张行之 Python从MySQL数据库中导出csv文件处理 ...
ExcelToMySQL-批量导入Excel文件到MySQL数据库的自动化工具
ExcelToMySQL:批量导入Excel文件到MySQL数据库的自动化工具简介 ExcelToMySQL 是一个可以批量导入excel到数据库(mysql/oracle/sqlserver)的自 ...
scrapy爬虫储存到mysql_详解Python之Scrapy爬虫教程NBA球员数据存放到Mysql数据库
获取要爬取的URL 爬虫前期工作用Pycharm打开项目开始写爬虫文件字段文件items # Define here the models for your scraped items # # S ...
Python Web开发框架之Django篇——二、Django连接MySQL数据库以及建表的操作
二.Django连接MySQL数据库以及建表的操作准备工作:安装Python访问MySQL的模块一.修改project同名目录下面的__init__.py文件二.修改project同名目录下面的 ...
python解析json文件写入数据库_Python3实现将本地JSON大数据文件写入MySQL数据库的方法...
本文实例讲述了Python3实现将本地JSON大数据文件写入MySQL数据库的方法.分享给大家供大家参考,具体如下: 最近导师给了一个yelp上的评论数据,数据量达到3.55个G,如果进行分析时直接使 ...
计算机毕业设计Python+django 宠物领养中心小程序(源码+系统+mysql数据库+Lw文档）
项目介绍据世界动物保护协会统计,全世界大概有5亿只流浪狗和散养的狗和大致同样数量的流浪猫,而这些主要源于主人的弃养.同时,在很多地区,狗和猫都处于散养状态,这部分的动物,也经常会变成流浪动物.猫和狗 ...
计算机毕业设计Python+django的零食销售商城网站(源码+系统+mysql数据库+Lw文档）
项目介绍随着人们生活条件的改善,人们对生活的追求也越来越高.在闲暇之时品尝上美味的零食,是当前很多人的一个休闲方式.当前临时市场鱼目混杂,种类繁多很多消费者不知道如何去选购更加美味可口的零食.尤其 ...
使用命令导入sql文件到mysql数据库时报Failed to open file错误的解决方案
使用命令导入sql文件到mysql数据库时报Failed to open file错误的解决方案参考文章: (1)使用命令导入sql文件到mysql数据库时报Failed to open file错 ...
excel 导入mysql_如何将Excel文件导入MySQL数据库
本文实例为大家分享了Excel文件导入MySQL数据库的方法,供大家参考,具体内容如下 1.简介本博客给大家分享一个实用的小技能,我们在使用数据库时常常需要将所需的Excel数据添加进去,如果按照传 ...

python将excel导入mysql_【Python】将excel文件导入mysql数据库

python将excel导入mysql_【Python】将excel文件导入mysql数据库相关推荐

最新文章

热门文章