上一次的爬取网易新闻案例，我们使用到了一个解析 HTML 的库：Beautiful Soup。本次跟大家分享一下关于这个库的一些用法。

Beautiful Soup 简介:

Beautiful Soup 是一个可以从 HTML 或者 XML 文档中提取数据的 Python 库，

它提供一些简单的函数可以很方便的从文档上提取所需要的数据。由于目前最新版本是 4.4.0，所以一般被简称为 bs4。

安装：

在这里强烈推荐使用 Anaconda，Anaconda指的是一个开源的 Python 发行版本,包含了科学计算或者数据分析所用的等180多种依赖包。而且 window 下面的安装也是非常简便，一路下一步就行了。

至于为什么推荐使用 Anaconda，一方面是由于以上所说的包含了常用的库，而另一方面则是为了不让大家在安装环境这一步浪费太多时间。由于 Python 目前常用的依赖管理是 pip，新手很容易在这里遇到一些自身不容易解决的问题。很容易打击自己的信心，造成负面的心理反馈。而我们要使用的 Beautiful Soup 本身也已经集成到 Anaconda 中了。我们只需 import 导入即可。

废话不多说了，下面开始介绍 bs4 的使用。

开始使用之前，先介绍一下 bs4 可以使用的解析器。

bs4 支持 Python 标准库中的 HTML 解析器,另外还支持一些第三方的解析器：其中一个是 lxml，另一个可供选择的解析器是纯Python实现的 html5lib, html5lib的解析方式与浏览器相同。html5lib 相比较 lxml 来说容错能力更强，且不依赖外部扩展，但是速度却不如后者。lxml 还需要安装C语言库。不过我们使用的是 Anaconda，这些都是现成的，开箱即用。

bs4 导入：

frombs4 importBeautifulSoup

BeautifulSoup 的构造方法接收一段字符串或一个文件句柄,从而得到一个文档的对象。可以通过这个对象来对我们传入的文档来进行操作。

接收字符串：

str = """

bs4使用

BS4使用。

"""bs4 = BeautifulSoup(str, "lxml")print(type(bs4)) #

接收文件句柄：

bs4 = BeautifulSoup(open('a.html', mode='r', encoding='UTF-8'), "lxml")print(type(bs4)) #

Beautiful Soup 将 HTML 文档转换成一个复杂的树形结构,每个节点都是 Python 对象,所有对象可以归纳为4种: Tag, NavigableString, BeautifulSoup, Comment

一、Tag对象

Tag 其实就是 HTML 中的一个标签，与原生 HTML 文档中的标签相同。下面是示例：

str = """

Hello BeautifulSoup

"""soup = BeautifulSoup(str, "lxml")tag = soup.h1print(type(tag)) #

我们构造一个 BeautifulSoup 对象之后可以直接通过访问对象属性的方式来获取一个 Tag 对象，Tag 对象具有很多属性和方法。可包含多个Tag以及字符串，这些都是这个Tag的子节点。我们只介绍一下 Tag 中最重要的属性: name 和attributes

Name属性:

还是上边的例子，我们修改 tag 的 name 属性，之后打印它，发现原来的 h1 标签被修改为 h2，也就是说如果改变了 tag 对象的 name 属性,那将影响所有通过当前 Beautiful Soup 对象生成的 HTML 文档。

print(tag.name) # h1tag.name = "h2"print(tag) #

Hello BeautifulSoup

Attributes属性：

还是上边的例子，

Hello BeautifulSoup

这个标签含有一个 class 属性，值为“h1”。

tag 的属性可以被添加,删除或修改，操作方法与字典一样。

print(tag) #

Hello BeautifulSoup

tag['class'] = "h2"print(tag) #

Hello BeautifulSoup

二、NavigableString对象

上面例子中 h1 标签中间的字符串，可以通过 tag.string 来获取。通过上面的 Tag 对象获取到标签的内容之后可以通过 .string 获取。前提是 tag 只有一个 NavigableString 类型子节点。

print(type(tag.string)) # print(tag.string) # Hello BeautifulSoup

tag 中包含的字符串不能编辑，但是可以被替换。

tag.string.replace_with("AAAAA")print(tag.string) # AAAAA

三、BeautifulSoup对象

BeautifulSoup 对象表示的是一个文档的全部内容。很多时候可以把它当作一个特殊的 Tag 对象。

四、Comment对象

Tag, NavigableString, BeautifulSoup 几乎覆盖了 html 和 xml 中的所有内容,但是还有一些特殊对象，比如文档注释。

例子:

str = """Hello BeautifulSoup"""soup = BeautifulSoup(str, "lxml")comment = soup.b.stringprint(type(comment)) # print(comment) # 这里是注释

到这里已经介绍完了对象的种类。BeautifulSoup 还有最重要的部分：文档树。打算下次在写。

关注作者查看更多哦！