这两天刚好完成一个提取人行简版征信报告PDF所有数据的小项目，中间踩了很多坑，尤其是对于汉字编码问题度娘也不太灵。为了方便后人，在这里记录下在这个过程中我遇到的问题以及我的解决方法。

我用的是mac系统，Python 3.6，依赖第三方库pdfminer3k 1.3.1。这个是pdfminer的python 3.x版本，原始版为pdfminer，只支持python2 .x。

如果想要支持中日韩文字，这个库绝对不可pip安装。如何安装我后面介绍，在这里先吐槽一句，为啥utf-8很多个汉字对应着两套编码啊！！这个设定真是很坑啊！！如果看不懂吐槽没关系，你可以试着解析一下你自己的简版报告就懂了。。。

这个库的使用还是比较简单的，网上有很多的使用方法我就不重复了。其实开发者打包了一个脚本pdf2txt.py，里面包含了这个库的众多使用方法，看一遍就会用。在这里贴上我的代码：

from pdfminer.pdfinterp import PDFResourceManager, process_pdf

from pdfminer.converter import TextConverter, HTMLConverter

from pdfminer.layout import LAParams

from io import StringIO, open

import os

def readPDF(file_name):

rsrcmgr = PDFResourceManager()

retstr = StringIO()

laparams = LAParams(all_texts = True)

device = TextConverter(rsrcmgr, retstr, laparams=laparams)

file = open(file_name, 'rb')

process_pdf(rsrcmgr, device, file)

file.close()

device.close()

content = retstr.getvalue().split('\n')

retstr.close()

for i in range(len(content)):

content[i] = content[i].strip()

if content[i].startswith('第') and content[i].endswith('页'):

content[i]=''

if content[i].startswith('共') and content[i].endswith('页'):

content[i]=''

while '' in content:

content.remove('')

return content

运行完得到一个含有这个PDF所有文字信息的list，我的心中一阵狂喜，这不就是我想要的嘛，接下来使用正则大法提取相关内容就好了嘛！事实证明我还是太年轻。。。

这个包最大的坑就是汉字编码，具体是这样婶儿的：

我得到的content里第i行是字符串'2017年1月1日XXXX'(只是看起来是这样的)，在这里我很开心的输入以下代码：

content[i].split('日')[0]

本以为日期就这样提取出来了，结果返回的竟然是原字符串！！难道是字打错了，尝试以下代码：

'日' in content[i]

竟然返回了False！也就是 '日' 并不在字符串 '2017年1月1日XXXX' 里！怎么可能？？我瞪大眼睛看了半天，一度怀疑我学的是假python。。。

怀疑归怀疑，问题还是要解决。思索了下想到每个字其实都是对应一个编码，看到的字只是电脑输出的这个编码对应的字符而已，比如Python默认的编码是utf-8，于是我试了下：

content[i][8].encode('utf-8')

'日'.encode('utf-8')

果然返回的结果不一样，提取出来的'日'字编码是b'\xe2\xbd\x87'，而我自己输入的'日'字编码为b'\xe6\x97\xa5'，看起来一个字编码不一样！！(如果有大神帮忙解惑为啥会这样我将不胜感激。。)不信你可以度娘一个汉字与utf互转的网页，当你输入'日'字时出现的是第二个编码，而你用第一个和第二个编码反查汉字的话，输出的都是'日'字。

填坑过程我就不写了，在通读了这个库的代码后我发现想改只能从安装过程入手(白读半天源代码了。。)，这就是之前说不要pip安装的原因。

接下来我贴下我的解决方案，如果有大神有其他方法还望分享。

这个库在安装时候需要单独安装对于cjk字符的支持，这个开发者在如何安装部分也有讲，比如macos/linux版命令如下：

python tools/conv_cmap.py pdfminer/cmap Adobe-CNS1 cmaprsrc/cid2code_Adobe_CNS1.txt

python tools/conv_cmap.py pdfminer/cmap Adobe-GB1 cmaprsrc/cid2code_Adobe_GB1.txt

这里先不着急运行以上命令。因为我的PDF是UniGB-UCS2-H编码，所以研究了一下cid2code_Adobe_GB1.txt，这个文件其实就是把GB系列的编码映射成utf-8编码。查了一下'日'字的编码，果然对应着两套utf-8编码e2bd87,e697a5。到这里问题基本已经摸清楚了，只要改脚本映射到第二个编码问题就解决了。

接下来就简单了，查看conv_cmap.py，发现这个脚本做了两件事情：第一是输出各种编码转CID的字典，第二是输出CID转utf-8字典。这里只需要对第二步稍做改动，定位到文件中的以下位置：

hcodes = []

vcodes = []

在这两行下面加入以下代码：

if len(x.split(',')) == 1:

temp = x.split(',')

else:

temp = x.split(',')[1:]

这4行代码的意思就是去掉我们输入不了的那一套编码，只留下能输入的那一套。

改过以后再执行安装：

python tools/conv_cmap.py pdfminer/cmap Adobe-CNS1 cmaprsrc/cid2code_Adobe_CNS1.txt

python tools/conv_cmap.py pdfminer/cmap Adobe-GB1 cmaprsrc/cid2code_Adobe_GB1.txt

python setup.py install

经过这样的修改，安装后提取的内容的编码就与我们输入的编码一致了，问题解决！

如果有同学遇到其他编码的相似问题，这个方法应该也能解决。如果不行可以贴出来大家一起研究~~