2019独角兽企业重金招聘Python工程师标准>>>

寻觅工具

确定任务之后第一步就是找个趁手的库来干活。 Python Excel上列出了xlrd、xlwt、xlutils这几个包,但是

  1. 它们都比较老,xlwt甚至不支持07版以后的excel

  2. 它们的文档不太友好,都可能需要去读源代码,而老姐的任务比较紧,加上我当时在期末,没有这个时间细读源代码

再一番搜索后我找到了openpyxl,支持07+的excel,一直有人在维护,文档清晰易读,参照Tutorial和API文档很快就能上手,就是它了~

安装

这个很容易,直接pip install openpyxl,呵呵呵~

因为我不需要处理图片,就没有装pillow。

一些考虑

  1. 源文件大约一个在1~2MB左右,比较小,所以可以直接读入内存处理。

  2. 既然是处理excel,何况他们整个组显然都是win下干活(数据都用excel存了= =,商科的人啊……),这个脚本还是在win下做吧

  3. 这个任务完全不需要我对现有的文件做修改!囧……我只要读入、处理、再写出另一个文件就行了

学习使用

嗯,就是打开cmd,然后用python的shell各种玩这个模块来上手……(win下没有装ipython,囧)

做这个小脚本基本上我只需要import两个东西

from openpyxl import Workbookfrom openpyxl import load_workbook

load_workbook顾名思义是把文件导入到内存,Workbook是最基本的一个类,用来在内存里创建文件最后写进磁盘的。

干活

首先我需要导入这个文件

inwb = load_workbook(filename)

得到的就是一个workbook对象

然后我需要创建一个新的文件

outwb = Workbook()

接着在这个新文件里,用create_sheet新建几个工作表,比如

careerSheet = outwb.create_sheet(0, 'career')

就会从头部插入一个叫career的工作表(也就是说用法类似python list的insert)

接下来我需要遍历输入文件的每个工作表,并且按照表名做一些工作(e.g.如果表名不是数字,我不需要处理),openpyxl支持用字典一样的方式通过表名获取工作表,获取一个工作簿的表名的方法是get_sheet_names

for sheetName in inwb.get_sheet_names():    if not sheetName.isdigit():        continuesheet = inwb[sheetName]

得到工作表之后,就是按列和行处理了。openpyxl会根据工作表里实际有数据的区域来确定行数和列数,获取行和列的方法是sheet.rows和sheet.columns,它们都可以像list一样用。比如,如果我想跳过数据少于2列的表,可以写

if len(sheet.columns) < 2:    continue

如果我想获取这个工作表的前两列,可以写

colA, colB = sheet.columns[:2]

除了用columns和rows来得到这个工作表的行列之外,还可以用excel的单元格编码来获取一个区域,比如

cells = sheet['A1':'B20']

有点像excel自己的函数,可以拉出一块二维的区域~

为了方便处理,遇到一个没有C列的工作表,我要创建一个和A列等长的空的C列出来,那么我可以用sheet.cell这个方法,通过传入单元格编号和添加空值来创建新列。

alen = len(colA)for i in range(1, alen + 1):sheet.cell('C%s' % (i)).value = None

注意:excel的单元格命名是从1开始的~

上面的代码也显示出来了,获取单元格的值是用cell.value(可以是左值也可以是右值),它的类型可以是字符串、浮点数、整数、或者时间(datetime.datetime),excel文件里也会生成对应类型的数据。

得到每个单元格的值之后,就可以进行操作了~openpyxl会自 动将字符串用unicode编码,所以字符串都是unicode类型的。

除了逐个逐个单元格用cell.value修改值以外,还可以一行行append到工作表里

sheet.append(strA, dateB, numC)

最后,等新的文件写好,直接用workbook.save保存就行

outwb.save("test.xlsx")

这个会覆盖当前已有的文件,甚至你之前读取到内存的那个文件。

一些要注意的地方

  • 如果要在遍历一列的每个单元格的时候获取当前单元格的在这个column对象里的下标

    for idx, cell in enumerate(colA):    # do something...
  • 为了防止获取的数据两端有看不见的空格(excel文件里很常见的坑),记得strip()

  • 如果工作表里的单元格没有数据,openpyxl会让它的值为None,所以如果要基于单元格的值做处理,不能预先假定它的类型,最好用

    if not cell.value    continue

    之类的语句来先行判断

  • 如果要处理的excel文件里有很多noise,比如当你预期一个单元格是时间的时候,有些表的数据可能是字符串,这时候可以用

    if isinstance(cell.value, unicode):    break

    之类的语句处理。

  • win下的cmd似乎不太好设定用utf-8的code page,如果是简体中文的话可以用936(GBK),print的时候会自动从unicode转换到GBK输出到终端。

一些帮忙处理中文问题的小函数

我处理的表有一些超出GBK范围的字符,当我需要把一些信息print出来监控处理进度的时候非常麻烦,好在它们都是可以无视的,我直接用空格替换再print也行,所以加上一些我本来就要替换掉的分隔符,我可以:

# annoying seperatorsdot = u'\u00b7'dash = u'\u2014'emph = u'\u2022'dot2 = u'\u2027'seps = (u'.', dot, dash, emph, dot2)def get_clean_ch_string(chstring):    """Remove annoying seperators from the Chinese string.Usage:cleanstring = get_clean_ch_string(chstring)    """cleanstring = chstring    for sep in seps:cleanstring = cleanstring.replace(sep, u' ')    return cleanstring

此外我还有一个需求,是把英文名[空格]中文名分成英文姓、英文名、中文姓、中文名

首先我需要能把英文和中文分割开,我的办法是用正则匹配,按照常见中英文字符在unicode的范围来套。匹配英文和中文的正则pattern如下:

# regex pattern matching all ascii charactersasciiPattern = ur'[%s]+' % ''.join(chr(i) for i in range(32, 127))# regex pattern matching all common Chinese characters and seporatorschinesePattern = ur'[\u4e00-\u9fff. %s]+' % (''.join(seps))

英文就用ASCII可打印字符的范围替代,常见中文字符的范围是\u4e00-\u9fff,那个seps是前面提到过的超出GBK范围的一些字符。 除了简单的分割,我还需要处理只有中文名没有英文名、只有英文名没有中文名等情况,判断逻辑如下:

def split_name(name):    """Split [English name, Chinese name].If one of them is missing, None will be returned instead.Usage:engName, chName = split_name(name)    """matches = re.match('(%s) (%s)' % (asciiPattern, chinesePattern), name)    if matches:  # English name + Chinese namereturn matches.group(1).strip(), matches.group(2).strip()    else:matches = re.findall('(%s)' % (chinesePattern), name)matches = ''.join(matches).strip()        if matches:  # Chinese name onlyreturn None, matches        else:  # English name onlymatches = re.findall('(%s)' % (asciiPattern), name)            return ''.join(matches).strip(), None

得到了中文名之后,我需要分割成姓和名,因为任务要求不需要把姓名分割得很明确,我就按照常见的中文名姓名分割方式来分——两个字or三个字的第一个字是姓,四个字的前两个字是姓,名字带分隔符的(少数民族名字)分隔符前是姓(这里用到了前面的get_clean_ch_string函数来移除分隔符),名字再长一些又不带分割符的,假设整个字符串都是名字。(注意英语的first name 指的是名,last name指的是姓,2333)

def split_ch_name(chName):    """Split the Chinese name into first name and last name.* If the name is XY or XYZ, X will be returned as the last name.* If the name is WXYZ, WX will be returned as the last name.* If the name is ...WXYZ, the whole name will be returnedas the last name.* If the name is ..ABC * XYZ..., the part before the seperatorwill be returned as the last name.Usage:chFirstName, chLastName = split_ch_name(chName)    """if len(chName) < 4:  # XY or XYZchLastName = chName[0]chFirstName = chName[1:]    elif len(chName) == 4:  # WXYZchLastName = chName[:2]chFirstName = chName[2:]    else:  # longercleanName = get_clean_ch_string(chName)nameParts = cleanName.split()        print u' '.join(nameParts)        if len(nameParts) < 2:  # ...WXYZreturn None, nameParts[0]chLastName, chFirstName = nameParts[:2]  # ..ABC * XYZ...return chFirstName, chLastName

转载于:https://my.oschina.net/u/2252538/blog/330467

用python + openpyxl处理excel(07+)文档 + 一些中文处理的技巧相关推荐

  1. python2读取excel中文处理_用python + openpyxl处理excel(07+)文档 + 一些中文处理的技巧...

    最近要帮做RA的老姐写个合并excel工作表的脚本--源数据是4000+个excel 工作表,分布在9个xlsm文件里,文件内容是中英文混杂的一些数据,需要从每张表中提取需要的部分,分门别类合并到多个 ...

  2. python读取word内容写入excel_“python循环写入excel“Word文档的内容提取到excel表格中...

    Excel表格内容自动填充到word中的指定位置 使用粘贴链接.在Excel中复制需要进入Word文档中的数据内容,然后在Word文档中,点击选择性粘贴,然后点选粘贴为链接. 如何将EXCEL的文字复 ...

  3. Python.openpyxl操作Excel

    Python 操作 Excel 存取数据 1. openpyxl 模块 1.1 安装 openpyxl 模块 1.2 Excel 文件的三个对象 1.2.1 Workbook 对象 1.2.2 Wor ...

  4. PyPDF2--如何使用python操作你的PDF文档

    PyPDF2–如何使用python操作你的PDF文档 前言 大家好!最近想操作一下PDF文档,总是收费,于是浅尝辄止地了解了一下python当中的PyPDF2这个库.借助本篇博客总结了一下个人所学到的 ...

  5. Excel 2003文档的密码忘了怎么办

    2019独角兽企业重金招聘Python工程师标准>>> 一些用户在使用excel2003的时候为了文件的安全性设置了密码,但是有时一下忘记了这就比较麻烦了.面对这种情况我们一般都是通 ...

  6. python处理word_python处理word文档

    来源 https://zhuanlan.zhihu.com/p/21643475 本系列文章将介绍如何使用Python读写主要Microsoft Office文档(Word,Excel和PowerPo ...

  7. 2021-01-26 Python自动化办公-处理word文档

    Python自动化办公-处理word文档 年底项目投标,需要整理大量的内容,标书的很多内容是其实是之前的标书重复的,可以把对应的各个部分内容合并,然后再处理格式等.如果采用常规操作每次操作需要打开子目 ...

  8. html画布显示PPT,【Web前端问题】有没有办法让HTML5 canvas显示/预览word/excel/powerpoint 文档?...

    目前想实现类似百度文库那样的在线文档预览,但是他们使用的一般都是Flash,而HTML5 canvas可以在大多数情况下代替Flash,那么有没有办法让canvas显示/预览Office文档? 如果不 ...

  9. python处理word或者pdf文件_利用python程序生成word和PDF文档的方法

    一.程序导出word文档的方法 将web/html内容导出为world文档,再java中有很多解决方案,比如使用Jacob.Apache POI.Java2Word.iText等各种方式,以及使用fr ...

最新文章

  1. <utility><xutility>模板常见操作方法
  2. 反光衣识别算法冠军方案总结(附源码)|极市打榜
  3. CodeForces - 1321C Remove Adjacent(贪心+模拟)
  4. 在DropboxEdge网络上评估BBRv2
  5. 大数据平台常用组件_这款大数据智能服务平台火了!全自动化配置30+款开源大数据组件...
  6. JS(JavaScript)的初了解3(更新中···)
  7. 发现Java程序中的Bug
  8. 嵌入式系统文件系统比较 jffs2, yaffs, cramfs, romfs, ramdisk, ramfs/tmpfs
  9. leetcode 85. 最大矩形(dp)
  10. linux 粘贴网站地址,linux 复制粘贴
  11. linux gdb打印内存命令,gdb中查看内存方法总结
  12. php和python-PHP和Python性能比较:放弃PHP改用Python
  13. 【CCNA题库】Ti CCNA640-802V30版题库
  14. 智能泊车技术及现状详解
  15. python图形绘制星空图_天文星空图谱开源软件Stellarium
  16. siamRPN论文理解与复现
  17. js进行txt文件下载方式或oss文件访问下载跨域解决
  18. icp许可证申请:一文读懂icp许可办理流程、费用
  19. wii模拟器linux版,Dolphin模拟器_Dolphin模拟器最新版下载[Wii模拟器]-下载之家
  20. 5G 网络的会话性管理上下文对比介绍

热门文章

  1. php生成10万个字符串,有什么好的方法可以生成十万条不重复的13位纯数字字符串...
  2. android 6.0 数据库权限,Android超清晰6.0权限申请AndPermission
  3. c语言char转cstring,CString、TCHAR*、char*转换 | 时刻需
  4. php 其他页面获取session_PHP五十个提升执行效率的小技巧,和常见问题
  5. 印度孟买机器人餐厅_2020,送餐机器人的海外市场爆发之年
  6. php strchr 截断,PHP strchr() 函数
  7. SSM 整合 4:Spring IoC 容器基于的两个重要接口 BeanFactory 和 ApplicationContext
  8. EntityManager的使用
  9. c/c++多线程模拟系统资源分配(并通过银行家算法避免死锁产生)
  10. c++ socket线程池_java 网络编程,Socket编程