在爬虫开发的过程中还有一种解析html的方法，就是xpath，今天这篇文章就来详细介绍一下，至于你以后使用不使用呢就看你自己的个人爱好了。XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。在您继续学习之前，你应该了解HTML的基本知识。

什么是 XPath?

XPath 使用路径表达式在 XML 文档中进行导航

XPath 包含一个标准函数库

XPath 是 XSLT 中的主要元素

XPath 是一个 W3C 标准

XPath 术语

我们在使用的过程中需要知道下面的内容，使用xpath就是根据节点来提取自己想要的内容的。

父(Parent)：每个元素以及属性都有一个父。

子(Children)：元素节点可有零个、一个或多个子。

同胞(Sibling)：拥有相同的父的节点

先辈(Ancestor)：某节点的父、父的父，等等。

后代(Descendant)：某个节点的子，子的子，等等。

选取节点

常用的路劲表达式：

表达式

描述

实例

nodename

选取nodename节点的所有子节点

xpath(‘//div’)

选取了div节点的所有子节点

/

从根节点选取

xpath(‘/div’)

从根节点上选取div节点

//

选取所有的当前节点，不考虑他们的位置

xpath(‘//div’)

选取所有的div节点

.

选取当前节点

xpath(‘./div’)

选取当前节点下的div节点

..

选取当前节点的父节点

xpath(‘..’)

回到上一个节点

@

选取属性

xpath(’//@calss’)

选取所有的class属性

二、谓语

谓语被嵌在方括号内，用来查找某个特定的节点或包含某个制定的值的节点

表达式

结果

xpath(‘/body/div[1]’)

选取body下的第一个div节点

xpath(‘/body/div[last()]’)

选取body下最后一个div节点

xpath(‘/body/div[last()-1]’)

选取body下倒数第二个div节点

xpath(‘/body/div[positon()<3]’)

选取body下前两个div节点

xpath(‘/body/div[@class]’)

选取body下带有class属性的div节点

xpath(‘/body/div[@class=”main”]’)

选取body下class属性为main的div节点

xpath(‘/body/div[price>35.00]’)

选取body下price元素值大于35的div节点

三、通配符

Xpath通过通配符来选取未知的XML元素

表达式

结果

xpath(’/div/*’)

选取div下的所有子节点

xpath(‘/div[@*]’)

选取所有带属性的div节点

取多个路径

使用“|”运算符可以选取多个路径

表达式

结果

xpath(‘//div|//table’)

选取所有的div和table节点

Xpath轴

轴可以定义相对于当前节点的节点集

轴名称

表达式

描述

ancestor

xpath(‘./ancestor::*’)

选取当前节点的所有先辈节点(父、祖父)

ancestor-or-self

xpath(‘./ancestor-or-self::*’)

选取当前节点的所有先辈节点以及节点本身

attribute

xpath(‘./attribute::*’)

选取当前节点的所有属性

child

xpath(‘./child::*’)

返回当前节点的所有子节点

descendant

xpath(‘./descendant::*’)

返回当前节点的所有后代节点(子节点、孙节点)

following

xpath(‘./following::*’)

选取文档中当前节点结束标签后的所有节点

following-sibing

xpath(‘./following-sibing::*’)

选取当前节点之后的兄弟节点

parent

xpath(‘./parent::*’)

选取当前节点的父节点

preceding

xpath(‘./preceding::*’)

选取文档中当前节点开始标签前的所有节点

preceding-sibling

xpath(‘./preceding-sibling::*’)

选取当前节点之前的兄弟节点

self

xpath(‘./self::*’)

选取当前节点

功能函数

使用功能函数能够更好的进行模糊搜索

函数

用法

解释

starts-with

xpath(‘//div[starts-with(@id,”ma”)]’)

选取id值以ma开头的div节点

contains

xpath(‘//div[contains(@id,”ma”)]’)

选取id值包含ma的div节点

and

xpath(‘//div[contains(@id,”ma”) and contains(@id,”in”)]’)

选取id值包含ma和in的div节点

text()

xpath(‘//div[contains(text(),”ma”)]’)

选取节点文本包含ma的div节点

xpath实例

from lxml import etree

#转解析类型

xpath_html=etree.HTML(html)

#调用xpath方法

result=xpath_html.xpath('/html/head/title') #返回的是标签对象，看不到我们所需要的内容的

result_text=xpath_html.xpath('/html/head/title/text()') #在后面加上text取文本

#print(result,result_text)

#xpath语法 1.节点 / 2.跨节点 // 3.精确查找://li[@属性="属性值"] 4.属性:@属性

#xpath返回结果为list类型 可以通过下标提取值

#xpath中[]下标从1开始，跨节点是不能按照[]方式提取 只能取 平级关系的标签

#//a[3] 跨节点取a标签 就不能使用[]，因为有的a标签不是平级关系

result=xpath_html.xpath('//li') #你可以在后面加上text取文本

result=xpath_html.xpath('//li[@id="menu-item-1"]/text()') #按照属性值进行查找

result=xpath_html.xpath('//li[@id="menu-item-2"]/@href') #一般都是取出href属性

result=xpath_html.xpath('//a[1]/@href')[0] #取出第一个a标签的href属性 xpath[]下标从1开始

result=xpath_html.xpath('//a[2]')

result=xpath_html.xpath('//head/following-sibling::*[1]') #取head的平级标签，正常情况下是取head的子标签

print(result)

由于是演示每个语法的使用，出现先了多个变量名字相同，需要注意一下。基本上知道这些就没有问题了，我们来实战测试一下，随便找一个url，抓取相关内容，采用面向对象的代码格式。在解析数据的时候需要按照先抓大在抓小的原则，这样会减少一些困扰。一般来说web网页中的文章列表都是很有规律的，我们只需要先解析单个文章的标签，里面包含有相关的url，title，article等等一些我们想要的信息，如果你上去就解析url，title的话，就不能保证数据的一致性，两个是独立的信息，你需要另外拼接，可以使用enumerate方法来根据下标组合: