python爬取文件归类_python爬取各类文档方法归类汇总
HTML文档是互联网上的主要文档类型,但还存在如TXT、WORD、excel、PDF、csv等多种类型的文档。网络爬虫不仅需要能够抓取HTML中的敏感信息,也需要有抓取其他类型文档的能力。下面简要记录一些个人已知的基于python3的抓取方法,以备查阅。
1.抓取TXT文档
在python3下,常用方法是使用urllib.request.urlopen方法直接获取。之后利用正则表达式等方式进行敏感词检索。 ### Reading TXT doc ###
from urllib.request import urlopen
from urllib.error import URLError,HTTPError
import re
try:
textPage = urlopen("http://www.pythonscraping.com/pages/warandpeace/chapter1.txt")
except (URLError,HTTPError) as e:
print("Errors:\n")
print(e)
#print(textPage.read())
text = str(textPage.read())
#下面方法用正则匹配含1805的句子
pattern = re.compile("\..*1805(\w|,|\s|-)*(\.)")#不完美,简单示例
match = pattern.search(text)
if match is not None:
print(match.group())
#下面方法不用正则。先用.将句集分片,之后就可遍历了。
ss = text.split('.')
key_words = "1805"
words_list = [x.lower() for x in key_words.split()]
for item in ss:
if all([word in item.lower() and True or False for word in words_list]):
print(item)
上面的方法是已知目标网页为txt文本时的抓取。事实上,在自动抓取网页时,必须考虑目标网页是否为纯文本,用何种编码等问题。
如果只是编码问题,可以简单使用print(textPage.read(),'utf-8')等python字符处理方法来解决,如果抓取的是某个HTML,最好先分析,例如: from urllib.request import urlopen
from urllib.error import URLError,HTTPError
from bs4 import BeautifulSoup
try:
html = urlopen("https://en.wikipedia.org/wiki/Python_(programming_language)")
except (URLError,HTTPError) as e:
print(e)
try:
bsObj = BeautifulSoup(html,"html.parser")
content = bsObj.find("div",{"id":"mw-content-text"}).get_text()
except AttributeError as e:
print(e)
meta = bsObj.find("meta")
#print(bsObj)
if meta.attrs['charset'] == 'UTF-8':
content = bytes(content,"UTF-8")
print("-----------------UTF-8--------------")
print(content.decode("UTF-8"))
if meta.attrs['charset'] == 'iso-8859-1':
content = bytes(content,"iso-8859-1")
print("--------------iso-8859-1------------")
print(content.decode("iso-8859-1"))
2.抓取CSV文档
CSV文件是一种常见的数据存档文件,与TXT文档基本类似,但在内容组织上有一定格式,文件的首行为标题列,之后的文件中的每一行表示一个数据记录。这就像一个二维数据表或EXCEL表格一样。 python3中包含一个csv解析库,可用于读写csv文件,但其读取目标一般要求是在本地,要读取远程网络上的csv文件需要用urllib.request.urlopen先获取。例如: #csv远程获取,内存加载读取
from urllib.request import urlopen
import csv
from io import StringIO#在内存中读写str,如果要操作二进制数据,就需要使用BytesIO
try:
data = urlopen("http://pythonscraping.com/files/MontyPythonAlbums.csv").read().decode("ascii","ignore")
except (URLError,HTTPError) as e:
print("Errors:\n")
print(e)
dataFile = StringIO(data)
csvReader = csv.reader(dataFile)
count = 0
for row in csvReader:
if count < 10:
print(row)
else:
print("...\n...")
break
count += 1
#将数据写入本地csv文件
with open("./localtmp.csv","wt",newline='',encoding='utf-8') as localcsvfile:
writer = csv.writer(localcsvfile)
count = 0
try:
for row in csvReader:
if count < 10:
writer.writerow(row)
else:
break
count += 1
finally:
localcsvfile.close()
csv文档的标题行(首行)需要特殊处理,csv.DictReader可以很好的解决这个问题。DictReader将读取的行转换为python字典对象,而不是列表。标题行的各列名即为字典的键名。 #csv.DictReader读取csv文件,可以有效处理标题行等问题
from urllib.request import urlopen
import csv
from io import StringIO#在内存中读写str,如果要操作二进制数据,就需要使用BytesIO
try:
data = urlopen("http://pythonscraping.com/files/MontyPythonAlbums.csv").read().decode("ascii","ignore")
except (URLError,HTTPError) as e:
print("Errors:\n")
print(e)
dataFile = StringIO(data)
csvReader = csv.reader(dataFile)
dictReader = csv.DictReader(dataFile)
print(dictReader.fieldnames)
count = 0
for row in dictReader:
if count < 10:
print(row)
else:
print("...\n...")
break
count += 1
3.抓取PDF文档
pdf文档的远程抓取与操作,可借助比较流行的pdfminer3k库来完成。 #抓取并操作pdf
#pdf READ operation
from urllib.request import urlopen
from pdfminer.pdfinterp import PDFResourceManager,process_pdf
from pdfminer.converter import TextConverter
from pdfminer.layout import LAParams
from io import StringIO,open
def readPDF(filename):
resmgr = PDFResourceManager()#STEP 1
retstr = StringIO()#STEP 2
laparams = LAParams()#STEP 3
device = TextConverter(resmgr,retstr,laparams=laparams)#STEP 4
process_pdf(resmgr,device,filename)#STEP 5
device.close()#STEP 6
content = retstr.getvalue()
retstr.close()
return content
try:
pdffile = urlopen("http://www.fit.vutbr.cz/research/groups/speech/servite/2010/rnnlm_mikolov.pdf")
except (URLError,HTTPError) as e:
print("Errors:\n")
print(e)
outputString = readPDF(pdffile)#也可以读取由pdffile=open("../../readme.pdf")语句打开的本地文件。
print(outputString)
pdffile.close()
4.抓取WORD
老版word使用了二进制格式,后缀名为.doc,word2007后出现了与OPEN OFFICE类似的类XML格式文档,后缀名为.docx。python对word文档的支持不够,似乎没有完美解决方案。为读取docx内容,可以使用以下方法:
(1)利用urlopen抓取远程word docx文件;
(2)将其转换为内存字节流;
(3)解压缩(docx是压缩后文件);
(4)将解压后文件作为xml读取
(5)寻找xml中的标签(正文内容)并处理 #读取word docx文档内容
from zipfile import ZipFile
from urllib.request import urlopen
from io import BytesIO
from bs4 import BeautifulSoup
wordFile = urlopen("http://pythonscraping.com/pages/AWordDocument.docx").read()
wordFile = BytesIO(wordFile)
document = ZipFile(wordFile)#
xml_content = document.read("word/document.xml")
#print(xml_content.decode("utf-8"))
wordObj = BeautifulSoup(xml_content.decode("utf-8"),"lxml")
textStrings = wordObj.findAll("w:t")
for textElem in textStrings:
print(textElem.text)
5.抓取EXCEL
6.抓取HTML源文档
7.抓取HTML表单数据
8.抓取Javascript数据
更多内容请参考专题《python爬取功能汇总》进行学习。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持聚米学院。
python爬取文件归类_python爬取各类文档方法归类汇总相关推荐
- python下载图片到文件夹_python实现解析markdown文档中的图片,并且保存到本地~
背景 前阵子简书好像说是凉了,搞得我有点小慌,毕竟我的大部分博客都是放在简书上面的,虽然简书提供了打包导出功能,但是只能导出文字,图片的话还是存在简书服务器上面,再加上我一直想要重新做一个个人博客,于 ...
- python实现自动打卡_python实现腾讯文档自动打卡教程
明明365天都不得不待在家里面,居然还要天天去腾讯文档打卡,烦死人了. 天天都填一样的内容,重复无意义的事情,时间就是金钱,浪费人时间约等于谋财害命呀. 所以参考了网络上的代码,并做了改进,用pyt ...
- python表单文件请求_python处理multipart/form-data的请求方法
方法1: import requests url = "http://www.xxxx.net/login" #参数拼凑,附件上传格式如picurl参数,其他表单参数值拼成tupl ...
- python编辑word的格式_Python 如何对word文档(.docx)的页眉和页脚进行编辑?
刚好接了个任务要批量修改一批docx页眉,经过一天面向so编程,以下是代码.因为本人只是业余,代码是能用就好,如有错误请指出. PS1.对齐什么的懒得调了. PS2.不适用于doc格式 #批量修改do ...
- python把csv做成柱状图_python读csv格式文档并用matplotlib绘制图表
import csv from matplotlib import pyplot as plt from datetime import datetime fileName = 'sitka_weat ...
- python自动化之文件处理_Python自动化办公之Word批量转成自定义格式的Excel
作者:青春阳光king python实现word转成自定义格式的excel文档(解决思路和代码)支持按照文件夹去批量处理,也可以单独一个文件进行处理,并且可以自定义标识符. 最近在开发一个答题类的小程 ...
- python根据模板生成pdf文件_程序生成word与PDF文档的方法(python)
程序导出word文档的方法 将web/html内容导出为world文档,再java中有很多解决方案,比如使用Jacob.Apache POI.Java2Word.iText等各种方式,以及使用free ...
- python分词统计词频_python jieba分词并统计词频后输出结果到Excel和txt文档方法
前两天,班上同学写论文,需要将很多篇论文题目按照中文的习惯分词并统计每个词出现的频率. 让我帮她实现这个功能,我在网上查了之后发现jieba这个库还挺不错的. 运行环境: 安装python2.7.13 ...
- 计算机毕业设计Java快递代取(源码+mysql数据库+系统+lw文档)
计算机毕业设计Java快递代取(源码+mysql数据库+系统+lw文档) 计算机毕业设计Java快递代取(源码+mysql数据库+系统+lw文档) 本源码技术栈: 项目架构:B/S架构 开发语言:Ja ...
最新文章
- 【初探HTML本相】道之真谛不过自然,html标签脱俗还真
- python编程入门到实践 百度云-python网络爬虫从入门到实践pdf
- 懒加载--初步理解. by:王朋
- 好用到爆的 Java 小技巧
- JZOJ 5163. 【NOIP2017模拟6.25】PS的烦恼
- 2015年第六届蓝桥杯 - 省赛 - C/C++大学A组 - I. 垒骰子
- python课程设计汽车销售管理系统_Python课程设计:汽车销售管理系统
- LinuxC高级编程——线程间同步
- tiktok跨境出海?
- [笔记]MySQL 配置优化
- 说说视频编码格式、视频码率、视频帧率、分辨率的概念
- c语言随机数 linux,C语言随机数生成教程(rand和srand用法)
- Excel 常用函数和公式
- 08cms房产门户系统v8.4升级补丁支持新版APP和小程序
- 一个大一计算机学生的学期总结(2022下半年)
- Codeforces Problem-705A Hulk
- 对象存储BOS服务介绍
- html 分号的作用,分号的作用是什么
- 如何获取地址栏的id (参数)
- 使用hexo+gitee免费搭建个人博客全网最详细
热门文章
- 深度学习02——Softmax、DNN、WideDeep Model
- 【数据结构与算法】二叉树
- codeup 1128: 出租车费 贪心|找规律
- vb检测html事件,VB代码VB小程序:捕获 WebBrowser 控件的鼠标事件
- new 3ds右摇杆测试软件,电击杂志编辑新3DS评测:防抖3D效果拔群!
- 2021年河南高考成绩排名查询一分一段表,2018河南高考一分一段统计表,查排名必备!...
- java ldap 分页_具有从属引用的 LDAP 分页查询未正确处理
- k1658停运到什么时候_最近网传的春节快递停运时间表,是假的!
- 待办事项桌面插件_让浏览器重获整洁——标签页管理插件:OneTabOneTab PlusToby...
- linux find显示文件的基本信息,命令find搜索文件,命令stat查看文件的详细信息