《python网络数据采集》读后感第六章：读取文档

1.文档编码：

文档编码是一种告诉程序——无论是计算机的操作系统还是 Python 代码——读取文档的规则。文档编码的方式通常可以根据文件的扩展名进行判断，虽然文件扩展名并不是由编码确定的，而是由开发者确定的。例如，如果我把 myImage.jpg 另存为 myImage.txt，不会出现任何问题，但当我用文本编辑器打开它的时候就有问题了。好在这种情况很少见，如果要正确地读取一个文档，必须要知道它的扩展名。

2.纯文本：

虽然把文件存储为在线的纯文本格式并不常见，但是一些简易网站，或者拥有大量纯文本文件的“旧式学术”(old-school)网站经常会这么做。例如，互联网工程任务组(Internet Engineering Task Force，IETF)网站就存储了 IETF 发表过的所有文档，包含 HTML、PDF和纯文本格式(例如 https://www.ietf.org/rfc/rfc1149.txt)。大多数浏览器都可以很好地显示纯文本文件，采集它们也不会遇到什么问题。

对大多数简单的纯文本文件，像 http://www.pythonscraping.com/pages/warandpeace/chapter1. txt 这个练习文件，你可以用下面的方法读取:

1 from urllib.request import urlopen
2
3 textPage = urlopen("http://www.pythonscraping.com/pages/warandpeace/chapter1-ru.txt")
4 print(str(textPage.read(),'utf-8'))

3.CSV:

Python 的 csv 库主要是面向本地文件，就是说你的 CSV 文件得存储在你的电脑上。而进行网络数据采集的时候，很多文件都是在线的。

手动把 CSV 文件下载到本机，然后用 Python 定位文件位置;
写 Python 程序下载文件，读取之后再把源文件删除;
从网上直接把文件读成一个字符串，然后转换成一个 StringIO 对象，使它具有文件的

属性。

4. PDF:

5. dox:

a. 从文件读取XML

1 from urllib.request import urlopen
2 from zipfile import ZipFile
3 from io import BytesIO
4
5 wordFile = urlopen("http://pythonscraping.com/pages/AWordDocument.docx").read()
6 wordFile = BytesIO(wordFile)
7 document = ZipFile(wordFile)
8 xml_content = document.read('word/document.xml')
9 print(xml_content.decode('utf-8'))

把一个远程 Word 文档读成一个二进制文件对象，再用 Python 的标准库 zipfile 解压(所有的 .docx 文件为了节省空间都进行过压缩)，然后读取这个解压文件，就变成 XML 了。

 1 from urllib.request import urlopen
 2 from zipfile import ZipFile
 3 from io import BytesIO
 4 from bs4 import BeautifulSoup
 5
 6 wordFile = urlopen("http://pythonscraping.com/pages/AWordDocument.docx").read()
 7 wordFile = BytesIO(wordFile)
 8 document = ZipFile(wordFile)
 9 xml_content = document.read('word/document.xml')
10
11 wordObj = BeautifulSoup(xml_content.decode('utf-8'))
12 textStrings = wordObj.findAll("w:t")
13
14 for textElem in textStrings:
15     closeTag = ""
16     try :
17         style = textElem.parent.previousSibling.find("w:pstyle")
18         if style is not None and style["w:val"] == "Title":
19             print("<h1>")
20             closeTag = "<h1>"
21     except AttributeError:
22         #不打印标签
23         pass
24     print(textElem.text)
25     print(closeTag)

转载于:https://www.cnblogs.com/chengchengaqin/p/9514913.html

《python网络数据采集》读后感第六章：读取文档相关推荐

python数据采集框架_20190715《Python网络数据采集》第 1 章
<Python网络数据采集>7月8号-7月10号,这三天将该书精读一遍,脑海中有了一个爬虫大体框架后,对于后续学习将更加有全局感. 此前,曾试验看视频学习,但是一个视频基本2小时,全部拿下 ...
python网络数据爬取及分析_《Python网络数据采集》读后总结--第3章开始爬取数据及天善用户关系分析实例...
这次介绍一下<Python网络数据采集>这本书的第3章内容(Chpt03.开始爬数据的内容), 使用了天善用户关系分析的示例来介绍一下具体实践. 1.第3章内容简介 1-getWikiLi ...
《深入浅出Python》与《Python网络数据采集》读后感
本学期在课程之外,自主计划学习Python语言以及爬虫知识.书籍方面,采用了O`Reilly的<深入浅出Python>与<Python网络数据采集>.前者用于Python语法的 ...
全方位指导采集心事网络中的各种数据类型：Python网络数据采集
[点击获取资料提取码:qmy2 ] #内容提要本书采用简洁强大的Python语言,介绍了网络数据采集,并为采集新式网络中的各种数据类型提供了全面的指导.第一部分重点介绍网络数据采集的基本原理:如何用 ...
python字符串分片_Python第六章字符串ppt
PPT内容这是Python第六章字符串ppt,包括了概述,通用序列操作,字符串格式化,字符串方法,正则表达式简介等内容,欢迎点击下载. Python语言编程导论第六章字符串内容提要概述通 ...
笔记之Python网络数据采集
笔记之Python网络数据采集非原创即采集一念清净, 烈焰成池, 一念觉醒, 方登彼岸网络数据采集, 无非就是写一个自动化程序向网络服务器请求数据, 再对数据进行解析, 提取需要的信息通常, ...
Python网络数据采集2-wikipedia
Python网络数据采集2-wikipedia 随机链接跳转获取维基百科的词条超链接,并随机跳转.可能侧边栏和低栏会有其他链接.这不是我们想要的,所以定位到正文.正文在id为bodyContent的 ...
Python 网络数据采集（三）：采集整个网站
Python 网络数据采集(三):采集整个网站 1.采集整个网站 2. 完整代码 3. 下一节,继续优化这个"爬虫"程序参见作者:高玉涵时间:2022.5.30 15:3 ...
Python 网络数据采集（中文版）
Python 网络数据采集(中文版) 链接:https://pan.baidu.com/s/1vXtIUXVFlGLBnA3BbWFAAg 提取码:f2a8

《python网络数据采集》读后感第六章：读取文档

《python网络数据采集》读后感第六章：读取文档相关推荐

最新文章

热门文章

《python网络数据采集》读后感 第六章：读取文档

《python网络数据采集》读后感 第六章：读取文档相关推荐

最新文章

热门文章

《python网络数据采集》读后感第六章：读取文档

《python网络数据采集》读后感第六章：读取文档相关推荐