将word、pdf、excel上的表格搬运至mysql数据库中

问题描述：有一批pdf和word文件，想把里面所有的表格取出放置在excel中，并最终将这些表格放置在mysql数据库中。

刚开始的时候，就是纯手动操作，实在让人太难受了，首先把PDF文件在word中打开，然后手动复制表格到excel中，原表格中存在多级标题栏，因为要入库，所以还要把标题栏修改成一栏，至于上传到数据库，就更麻烦了，刚开始使用导入向导，效率相当低下，后来实在太慢无趣就想到编程解决问题。

首先是将word里的表格提取至excel（PDF可以转化为docx），这里使用python，本来在网上查到的资料大部分是VB的，结果我发现使用python更加简单，又感叹了一声万能的python。使用python 安装docx和openpyxl两个库，一个操作word文档，一个操作excel，都非常简单易用，直接上代码吧。

import docx
import openpyxlname = 'xxx'
doc = docx.Document(name + ".docx") #打开word文档
wb = openpyxl.Workbook() #新建一个excel工作簿（注意区分工作簿和工作表）
for index, table in enumerate(doc.tables, start =1):ws = wb.create_sheet('sheet{}'.format(index)) #对每一个表格新建一个工作表for row in table.rows:values = list(map(lambda cell:cell.text, row.cells))ws.append(values) #把表格里的值复制到这个工作表里
wb.save(name +".xlsx") #保存工作簿

这样就把所有的表格放到了excel中，但是对一些合并的单元格还是有问题，这个并不好用代码解决，需要人去判断标题该如何修改，这一步就只能人工操作了。另外就是每一个工作表还需要人工命名。

好了，下一步，入库。这一步存在的问题就是首先数据库虽然支持中文，但是毕竟大家约定俗称的用英文，因此那就用英文吧，一个个手动打拼音或者英文？NoNoNo，那是在是个折磨人的事，好在万能的python又来了，python不仅能把中文变成拼音，还能访问百度翻译等API来进行英文翻译，我这就直接上拼音了。这里安装xpinyin这个库，他能有效的将中文转化为英文，具体用法在这。

>>> from xpinyin import Pinyin
>>> p = Pinyin()>>> p.get_pinyin(u"上海")
'shang-hai'
>>> p.get_pinyin(u"上海", tone_marks='marks')
'shàng-hǎi'
>>> p.get_pinyin(u"上海", tone_marks='numbers')
'shang4-hai3'
>>> p.get_pinyin(u"上海", '')
'shanghai'
>>> p.get_pinyin(u"上海", ' ')
'shang hai'
>>> p.get_initial(u"上")
'S'
>>> p.get_initials(u"上海")
'S-H'
>>> p.get_initials(u"上海", u'')
'SH'
>>> p.get_initials(u"上海", u' ')
'S H'

OK，拼音的问题解决了，接下来就是入库了，好在万能的python还能操作数据库，使用pymysql就好啦。具体库的用法请自行百度吧。首先连接数据库

def connectdb():  # 这个函数用来连接数据库print('连接数据库中...')condb = pymysql.connect(host="", user="", passwd="", db='', charset='utf8', port=)print('已连接!')return condb

在对应的位置上填入合适的参数就可以啦，之后调用这个函数就可以访问数据库。然后就是打开excel，准备把数据写到数据库里。

xlxsfile='xx.xlsx'transp = xpinyin.Pinyin()
condb = connectdb()
cursor = condb.cursor()
book = openpyxl.load_workbook(xlxsfile)
names = book.sheetnames

后面就是读取每个excel中的工作表，然后在mysql中新建一张表，再把表中的数据导入就好啦。

for i in range(1,len(names)):namevar = 0sheet = book.worksheets[i]rows = sheet.max_row   #获取行数cols = sheet.max_column   #获取列数nametem = names[i]engnametem = transp.get_initials(nametem, '') #转拼音insertcol = '' #这个在后面插入值语句要用到的ctsql = "CREATE TABLE IF NOT EXISTS `{}`(".format(ruku + str(i) + '_' + engnametem)for col in range(0, cols):cell = str(sheet.cell(row=1,column=col+1).value)engcell = transp.get_initials(cell, '') #字段名称也要转拼音colname = engcell + '_' + str(namevar) namevar += 1insertcol = insertcol + colname + ', '#插入数据时使用列的名称ctsql += colname + " VARCHAR(500) COMMENT '{}', ".format(cell)ctsql =ctsql[:-2] + ')' + "COMMENT = '{}';".format(xlxsfile[:-5] + '_' + nametem)insertcol = insertcol[:-2]#print(ctsql)cursor.execute(ctsql)#新建表#后面就是把数据插入表中了for row in range(1,rows):insertsql = "INSERT INTO `{}`({}) VALUES (".format(ruku + str(i) + '_' + engnametem, insertcol)for col in range(0, cols):cell = str(sheet.cell(row+1,col+1).value)insertsql = insertsql + "'" + cell + "'" + ','insertsql = insertsql[:-1] + ')'#print(insertsql)cursor.execute(insertsql)condb.commit()print('done:{}/{}'.format(i,len(names)-1))
book.save(xlxsfile[:-5] + '完善.xlsx')
condb.close()

很简单就完成了修改英文加插入数据库的操作。但是有一点要注意的就是sql语句中有很多符号不支持，所以要检查表格的规范性，这次就到这啦！

将word、pdf、excel上的表格搬运至mysql数据库中相关推荐

python excel模板生成excel表格_python制作简单excel统计报表3之将mysql数据库中的数据导入excel模板并生成统计图...
python制作简单excel统计报表3之将mysql数据库中的数据导入excel模板并生成统计图 #coding=utf-8 from openpyxl importload_workbookfro ...
将Excel上千条数据写入到数据库中
简要说明:因工作需要,需要一张Excel表格中的所有数据导入到数据库中.如下表,当然这只是一部分,一共一千多条. 前期处理: 首先要保证上图中的Excel表格中的数据不能为空,如果有为空的数据,可以稍 ...
Excel表格数据导入mysql数据库中
1.将excel表格中的数据复制到txt文件中 (如果有中文汉字注意:将txt文件更改成utf-8格式) 2.将.txt文件放入D盘 3.创建数据库和表(注意:数据库中的属性一定要和excel表格中的 ...
java实现word,pdf,excel,图片添加水印
gitee项目地址:https://gitee.com/betelnutandwine/meutilswatermark: java实现pdf,word,excel,ppt,图片加水印 jar地址:s ...
python导入excel表格-Python 将Excel表格数据导入MySQL数据库
今天分享一个刚刚完成的Python脚本,一个实用的小技能,就是利用Python代码,将EXCEL表格数据导入到MySQL数据库中!话不多说,下面代码示例. Excel表格数据.jpg 1示例代码: i ...
关于怎么把Excel表格导入MySQL数据库中
关于怎么把Excel表格导入MySQL数据库中第一步:建造Excel表格并且编辑数据. 1.我们要建立一个Excel表格文件 2.编辑我们需要的数据 3.保存到你知道的位置第二步:在MySQL中建 ...
Excel表格数据导入MySQL数据库
公司业务需要把Excel表中的十多万条数据导入到数据库表中,这样比执行sql语句插入数据快多了比如:想把如下图的(sanyi.xlsx)Excel表格导入MySQL表(tb_sanyi_client ...
mysql表格导入java_使用java技术将Excel表格内容导入mysql数据库
1.添加POI jar包到项目的lib目录下 2.Excel文件目录:d://excel.xls 3.数据库字段为:num1 num2 num3 num4 num5 num6 4.数据库名:bl ...
使用java技术将Excel表格内容导入mysql数据库
1.添加POI jar包到项目的lib目录下 2.Excel文件目录:d://excel.xls 3.数据库字段为:num1 num2 num3 num4 num5 num6 4.数据库名:bl ...

将word、pdf、excel上的表格搬运至mysql数据库中

将word、pdf、excel上的表格搬运至mysql数据库中相关推荐

最新文章

热门文章