我：我已经学会了基本的python，接下来可以学什么鸭？

惨绿青年：接下来可以学习制作python爬虫了，但还是需要学习相关的知识。

我：什么知识鸭？

惨绿青年：网页的相关知识。我们看到的网页一般是html+css+javascript编写出来的文件，然后浏览器解析该文件再展示出来给我们看。python爬虫的原理就是获取网页的代码，然后通过各种方式从其中提取出数据。

我：数据是怎么提取的鸭？

惨绿青年：python的数据提取方式一般为4种：beautifulsoup，xpath，css选择器，正则表达式。今天我们先来学习前两种吧。

——————我si昏鸽线——————

html

惨绿青年：在学习beautifulsoup和xpath之前先来了解一下html。html是超文本标记语言，把各种标签通过树形结构组合起来。

树结构示意图

我：那标签是啥鸭？

惨绿青年：标签用来定义网页的内容。不同的标签定义不同类别的内容。例如用来定义链接，

用来定义一段文字。标签也有属性和对应的属性值。

标签以及说明

该标签在浏览器中显示的样子

——————我si昏鸽线——————

beautifulsoup

惨绿青年：接下来来学习beautifulsoup吧。beautifulsoup是python的一个库，该库能通过简单的方式提取数据。

我：那怎么安装鸭？

惨绿青年：打开命令行，输入“pip install beautifulsoup4”就行了。

安装好后就能使用了

惨绿青年：beautifulsoup能将html文档解析后生成一个beautifulsoup对象，beautifulsoup对象也是一种树形结构，包含各种节点，每一个节点都对应html的标签。

惨绿青年：节点对象可通过beautifulsoup对象直接访问，获得该节点内的所有内容，通过该方法获取的节点返回的是第一个符合条件的节点。节点有两个常用的属性attrs、contents和string。调用attrs属性会返回一个列表，包含该节点的所有属性；调用contents和string属性会返回该节点的内容。

惨绿青年：通过某个节点也可以访问其他节点，它的上一个为父节点，下一个节点为子节点，同一个父节点的其他节点为兄弟节点。前一个节点是previous_sibling，后一个节点是next_sibling。需要注意的是，在实际的html文档换行符或者字符串也会成为节点。

示意图

注意观察bs的内容

惨绿青年：beautifulsoup常用find_all()方法来查找节点。此外还有find_parent()、find_children()等方法，使用的原理和find_all()类似，具体可查看官方文档。

——————我si昏鸽线——————

xpath

惨绿青年：xpath是一种在xml或html中查找信息的方法。要在python中使用xpath要先安装lxml包，和上面安装的方式一样，打开命令行输入“pip install lxml”。若不能成功，则在命令行输入“python -m pip install -U pip”，然后到python官网下载lxml的wheel文件。下载后在命令行输入“pip install ”，再把wheel文件拖到命令行即可。

惨绿青年：xpath与beautifulsoup类似，都有节点，都是把html转换成树结构。xpath通过路径查找信息，就像通过路径能访问计算机中的文件夹。xpath的常用语法有“/”，“//”，“.”，“..”，“@”，“*”。“/”表示选取子节点；“//”表示在所有子孙节点中选取；“.”表示当前节点；“..”表示选取父节点；“@”表示选取属性；“*”是通配符，表示匹配所有的节点或属性。当把html构造为etree对象时，会把html节点当作根节点，路径从该节点的下一层开始。

惨绿青年：xpath还可以通过“@”选取属性，通过text()获取节点中的文本。