路径表达式

表达式	描述
nodename	选取此节点的所有子节点。
/	从根节点选取。
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。
.	选取当前节点。
…	选取当前节点的父节点。
@	选取属性。

路径案例

路径表达式	结果
body	选取 body 元素的所有子节点。
/head	选取根元素下head。假如路径起始于正斜杠( / )，则此路径始终代表到某元素的绝对路径！
div/a	选取属于 div 的子元素的所有 a 元素。
//a	选取所有 a 子元素，而不管它们在文档中的位置。
div//a	选择属于 div 元素的后代的所有 a 元素，而不管它们位于 bookstore 之下的什么位置。
//@class	选取名为 claa 的所有属性。
./a	选取当前元素下的a
…/a	选取父元素下的a
a/@href	选取a标签的href属性
a/text()	选取a标签下的文本

谓语（Predicates）

谓语用来查找某个特定的节点或者包含某个指定的值的节点。

谓语被嵌在方括号中。

谓语实例

在下面的表格中，我们列出了带有谓语的一些路径表达式，以及表达式的结果：

路径表达式	结果
/body/div[1]	选取属于 body 子元素的第一个 div 元素。
/body/div[last()]	选取属于 body 子元素的最后一个 div 元素。
/body/div[last()-1]	选取属于 body 子元素的倒数第二个 div 元素。
/body/div[position()< 3 ]	选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//div[@id]	选取所有拥有名为 id 的属性的 div 元素。
//div[@class=‘eng’]	选取所有 div 元素，且这些元素拥有值为 eng 的 class 属性。
/body/span[size>35.00]	选取 body 元素的所有 span 元素，且其中的 size 元素的值须大于 35.00。
/body/span[size>35.00]/title	选取 body 元素中的 span 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。

选取未知节点

XPath 通配符可用来选取未知的 XML 元素。

通配符	描述
*	匹配任何元素节点。
@*	匹配任何属性节点。
node()	匹配任何类型的节点。

实例

在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：

路径表达式 | 结果
/body/* | 选取 body 元素的所有子元素。
//* |选取文档中的所有元素。
//title[@*] |选取所有带有属性的 title 元素。

选取若干路径

通过在路径表达式中使用“|”运算符，您可以选取若干个路径。

实例

在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：

路径表达式	结果
//head/title \| //head/price	选取 head 元素的所有 title 和 price 元素。
//title \| //price	选取文档中的所有 title 和 price 元素。
/body/book/title \| //price	选取属于 body 元素的 book 元素的所有 title 元素，以及文档中所有的 price 元素。

Xpath轴

轴可以定义相对于当前节点的节点集

轴名称	表达式	描述
ancestor	./ancestor::^*	选取当前节点的所有先辈节点（父、祖父）
ancestor-or-self	./ancestor-or-self::^*	选取当前节点的所有先辈节点以及节点本身
descendant	./descendant::^*	返回当前节点的所有后代节点（子节点、孙节点）
child	./child::^*	返回当前节点的所有子节点
parent	./parent::^*	选取当前节点的父节点
following	./following::^*	选取文档中当前节点结束标签后的所有节点
following-sibling	./following-sibling::^*	选取当前节点之后的兄弟节点
preceding	./preceding::^*	选取文档中当前节点开始标签前的所有节点
preceding-sibling	./preceding-sibling::^*	选取当前节点之前的兄弟节点
self	./self::^*	选取当前节点
attribute	./attribute::^*	选取当前节点的所有属性

功能函数

使用功能函数能够更好的进行模糊搜索

函数	用法	解释
starts-with	//div[starts-with(@id,”ma”)]	选取id值以ma开头的div节点
contains	//div[contains(@id,”ma”)]	选取所有id值包含ma的div节点
and	//div[contains(@id,”ma”) and contains(@id,”in”)]	选取id值包含ma和in的div节点
text()	//div[contains(text(),”ma”)]	选取节点文本包含ma的div节点

注意事项：

按照审查元素的写法不一定正确，要按照网页源码的才行,因为不一样，网页源码才是你看到的
2.浏览器有自带的复制xpath功能，firefox下载firebug插件
xpath有c的速度，所以按照[@class=""]准确性较高

提取内容

方法	返回
Selector.xpath()	返回SelectorList对象
Selector.css()	返回SelectorList对象
SelectorList.extract()	返回List对象
SelectorList.extract_first(default)	返回String对象，可以有默认值，类似dict.get(key, default)

Scrapy爬虫：XPath语法相关推荐

爬虫Xpath语法详解
xpath是定位dom元素非常直观的方法之一,在爬虫中的使用尤其常见. 文章目录绝对路径和xpath 浏览器自带的xpath工具 xpath语法常用符号定位元素多重定位多条件组合获取属性或 ...
Python爬虫xpath语法及案例使用
Python爬虫之xpath语法及案例使用 ---- 钢铁侠的知识库 2022.08.15 我们在写Python爬虫时,经常需要对网页提取信息,如果用传统正则表达去写会增加很多工作量,此时需要一种对数 ...
Python之网络爬虫（Xpath语法、Scrapy框架的认识）
文章目录一.Xpath语法二.Scrapy框架的认识一.Xpath语法 xpath是一门在XML文档中查找信息的语言 1. 节点(Node) 元素.属性.文本.命名空间.文档(根)节点 2. ...
python爬虫：scrapy框架xpath和css选择器语法
Xpath基本语法一.常用的路径表达式: 表达式描述实例 nodename 选取nodename节点的所有子节点 //div / 从根节点选取 /div // 选取所有的节点,不考虑他们的位置 ...
Python爬虫：Xpath语法笔记
Python爬虫:Xpath语法笔记一.选取节点常用的路劲表达式: 表达式描述实例 nodename 选取nodename节点的所有子节点 xpath('//div') 选取了div节点的 ...
Python 爬虫利器三之 Xpath 语法与 lxml 库的用法
原文链接https://cuiqingcai.com/2621.html 前言前面我们介绍了 BeautifulSoup 的用法,这个已经是非常强大的库了,不过还有一些比较流行的解析库,例如 lxm ...
爬虫之xpath语法-常用节点选择语法
爬虫之xpath语法-常用节点选择语法可以通过通配符来选取未知的html.xml的元素 1.1 选取未知节点的语法通配符描述 * 匹配任何元素节点. node() 匹配任何类型的节点. 1.2 ...
爬虫之xpath语法-节点修饰语法
爬虫之xpath语法-节点修饰语法可以根据标签的属性值.下标等来获取特定的节点 1.1 节点修饰语法 [用[ ]方括号修饰标签或节点] 1.2 关于xpath的下标在xpath中,第一个元素 ...
爬虫之 lxml模块和xpath语法
爬虫之 lxml模块和xpath语法对html或xml形式的文本提取特定的内容,就需要我们掌握lxml模块的使用和xpath语法. lxml模块可以利用XPath规则语法,来快速的定位HTML\XM ...

Scrapy爬虫：XPath语法