上一篇文章中已经介绍了简单的python爬网页下载文档，但下载后的文档多为doc或pdf，对于数据处理仍然有很多限制，所以将doc／pdf转换成txt显得尤为重要。查找了很多资料，在linux下要将doc转换成txt确实有难度，所以考虑先将pdf转换成txt。

师兄推荐使用PDFMiner来处理，尝试了一番，确实效果不错，在此和大家分享。

PDFMiner 的简介：PDFMiner is a tool for extracting information from PDF documents. Unlike other PDF-related tools, it focuses entirely on getting and analyzing text data.有兴趣的同学请通过官网进行详细查看，通过PDFMiner中的小工具pdf2txt.py，便能将pdf转换成txt，而且仍保留pdf中的格式，超赞！

阅读pdf2txt.py的源码，我们可以看到具体的实现步骤，为了以后能处理大规模的pdf文件，这里我们只提取出pdf转换成txt的部分，具体实现代码如下：

# -*- coding: utf-8 -*-

#-----------------------------------------------------

# 功能：将pdf转换成txt(不处理图片)

# 作者：chenbjin

# 日期：2014-07-11

# 语言：Python 2.7.6

# 环境：linux(ubuntu)

# PDFMiner20140328(Must be installed)

# 使用：python pdf2txt.py file.pdf

#-----------------------------------------------------

import sys

from pdfminer.pdfinterp import PDFResourceManager,PDFPageInterpreter

from pdfminer.converter import TextConverter

from pdfminer.layout import LAParams

from pdfminer.pdfpage import PDFPage

#main

def main(argv) :

#输出文件名，这里只处理单文档，所以只用了argv［1］

outfile = argv[1] + ‘.txt‘

args = [argv[1]]

debug = 0

pagenos = set()

password = ‘‘

maxpages = 0

rotation = 0

codec = ‘utf-8‘ #输出编码

caching = True

imagewriter = None

laparams = LAParams()

#

PDFResourceManager.debug = debug

PDFPageInterpreter.debug = debug

rsrcmgr = PDFResourceManager(caching=caching)

outfp = file(outfile,‘w‘)

#pdf转换

device = TextConverter(rsrcmgr, outfp, codec=codec, laparams=laparams,

imagewriter=imagewriter)

for fname in args:

fp = file(fname,‘rb‘)

interpreter = PDFPageInterpreter(rsrcmgr, device)

#处理文档对象中每一页的内容

for page in PDFPage.get_pages(fp, pagenos,

maxpages=maxpages, password=password,

caching=caching, check_extractable=True) :

page.rotate = (page.rotate+rotation) % 360

interpreter.process_page(page)

fp.close()

device.close()

outfp.close()

return

if __name__ == ‘__main__‘ : main(sys.argv)

下一步将尝试将pdf中的图片进行转换，可以通过http://denis.papathanasiou.org/2010/08/04/extracting-text-images-from-pdf-files/ 进行了解。

参考资料：

1.PDFMiner：http://www.unixuser.org/~euske/python/pdfminer/