xpath中两个冒号_爬虫学习(5)

之前我们写了一个简单的爬虫，在提取页面信息时我们使用正则表达式来匹配内容，但是正则表达式的书写比较繁琐，而且一旦错误就可能导致匹配失败。对于网页的节点来说，它可以定义id，class或其他的属性，而且节点之间还有层次关系，在网页中可以通过xpath后css选择器来定位一个或多个节点。那么，我们在解析页面时，利用CSS和XPath选择器来定位节点，再调用相关方法来获取其正文内容或属性。本文介绍XPath。

1.XPath概述

XPath的选择功能十分强大，提供了100多个内建函数，用于字符串、数值、时间的匹配和节点、序列的处理。

2.XPath常用规则

nodename          选取此节点的所有子节点
/                 从当前节点选取直接子节点
//                从当前节点选取子孙节点
.                 选取当前节点
..                选取当前节点的父节点
@                 选取属性

这里就是XPath的常用匹配规则，示例如下：

//title[@lang='eng']

这个就表示选择所有名称为title，同时属性lang的值为eng的节点。

3.准备工作

安装好lxml库。

4.实例引入

我们来通过实例来感受一下使用XPath来对网页进行解析的过程。

from lxml import etreetext = '''
<div>
<ul>
<li class="item-0"><a-href="link1.html">first item</a></li>
<li class="item-1"><a-href="link2.html">second item</a></li>
<li class="item-inactive"><a-href="link3.html">third item</a></li>
<li class="item-1"><a-href="link4.html">fourth item</a></li>
<li class="item-0"><a-href="link5.html">fifth item</a>
</ul>
</div>
'''
html = etree.HTML(text)
result = etree.tostring(html)
print(result.decode('utf-8'))

这里我们先导入lxml库的etree模块，然后声明一段HTML文本，在调用HTML类进行初始化，这样就成功构造了一个XPath解析对象。我们可以注意到HTML文本中最后一个li节点是没有闭合的，但是etree模块可以自动修正HTML 文本。

我们调用tostring()方法即可输出修正后的HTML代码，但是结果是bytes类型。这里利用decode()方法将其转换为str类型。

我们也可以通过直接读取文件来进行解析。

from lxml import etreehtml = etree.parse('./test.html', etree.HTMLParser())
result = etree.tostring(html)
print(result.decode('utf-8'))

其中test.html的内容就是上面的HTML代码。

5.所有节点

我们一般会用//开头的XPath规则来选取所有符合要求的节点。

result = html.xpath('//*')
print(result)

这里使用*来匹配所有节点，也就是整个HTML文本中的所有节点都会被获取，返回形式是一个列表，每个元素都是Element类型，后面跟着节点的名称。

当然，此处匹配也可以指定节点名称。如果想获取所有li节点，如下：

result = html.xpath('//li')
print(result)
print(result[0])

如果我们要取出其中一个对象，可以直接用中括号加索引，如[0]。

6.子节点

我们通过/或//即可查找元素的子节点或子孙节点。假设我们现在想选择li节点的所有直接a节点，可以这样实现：

result = html.xpath('//li/a')

如果想获得所有子孙节点，则可使用//。例如，要获取ul节点下的所有子孙a节点，可以这样实现：

result = html.xpath('//ul//a')

/用于获取直接子节点，//用于获取子孙节点。

7.父节点

我们在上面讲了如何查找子节点或子孙节点，那么加入我们知道了子节点，怎么来查找父节点呢？可以用..来实现。

比如，我们选中属性为link4.html的a节点，然后获取其父节点，然后再获取其class属性。

result = html.xpath('//a[@href="link.html"]/../@class')

同时也可以使用parent::来获取父节点。

result = html.xpath('//a[@href="link.html"]/parent::*/@class')

8.属性匹配

在选取时，我们还可以使用@符号进行属性过滤。比如，这里如果要选取class为item-0的li节点，可以这样实现：

result = html.xpath('//li[@class="item-0"]')

这里我们通过加入[@class="item-0"]，限制了节点的class属性为item-0,而HTML 文本中符合的li节点有两个，所以结果应该返回两个匹配到的元素。

9.文本获取

我们使用XPath中的text()方法获取节点中的文本，接下来尝试获取前面li节点中的文本。

result = html.xpath('//li[@class="item-0"]/text()')

我们运行之后没有获取任何文本。这是为什么呢？因为XPath中text()前面是/，代表选取直接子节点，很明显li节点的直接子节点都是a节点，文本都是在a节点内部的，所以只匹配到被修正的li节点内部的换行符。因为自动修正的li节点的尾标签换行了。即选中的是这两个节点：

<li class="item-0"><a-href="link1.html">first item</a></li>
<li class="item-0"><a-href="link5.html">fifth item</a>
</li>

因此，如果想获取li节点内部的文本，就有两种方式:一种是先选取a节点再获取文本，另一种是使用//。

result = html.xpath('//li[@class="item-0"]/a/text()')

运行结果为：

['first item', 'fifth item']

这里我们是逐层选取，先选取了li节点，又利用/选取了其直接子节点a。

result = html.xpath('//li[@class="item-0"]//text()')

运行结果为：

['first item', 'fifth item', 'n    ']

这里是选取所有子孙节点的文本，其中两个是li的子节点a节点内部的文本，另外一个就是最后一个li节点内部的文本，即换行符。

10.属性获取

我们使用text()方法获取文本内容，我们也可以用@href来获取节点的href属性。

result = html.xpath('//li/a/@href')

11.属性多值匹配

有时候，某些节点的某个属性有多个值，例如：

from lxml import etreetext = '''
<li class="li li-first"><a href="link.html">first item</a></li>
'''
html = etree.HTML(text)
result = html.xpath('//li[@class="li"]/a/text()')
print(result)

这里返回的结果是[],因为li的class属性有两个值li和li-first,此时还想用之前的属性匹配获取就无法匹配了。

这时就需要用contains()函数了，代码如下：

result = html.xpath('//li[contains(@class, "li")]/a/text()')

这样就会得到结果['first item']。

12.多属性匹配

另外，我们还会碰到另一种情况，那就是依据多个属性来确定一个节点，这时就需要同时匹配多个属性，此时我们可以使用运算符and来连接。

from lxml import etreetext = '''
<li class="li li-first" name="item"><a href="link.html">first item</a></li>
'''
html = etree.HTML(text)
result = html.xpath('//li[contains(@class, "li") and @name="item"]/a/text()')
print(result)

这里的li节点又增加了一个属性name。要确定这个节点，需要用时根据class和name来选择，中间用and相连，相连之后置于中括号内进行条件筛选。除了and之外还有其他的运算符可以使用。

13.顺序选择

我们在选择的时候某些属性可能已经匹配了多个节点，但是我们只想要其中的某个节点，如第二个节点或者最后一个节点。

from lxml import etreetext = '''
<div>
<ul>
<li class="item-0"><a-href="link1.html">first item</a></li>
<li class="item-1"><a-href="link2.html">second item</a></li>
<li class="item-inactive"><a-href="link3.html">third item</a></li>
<li class="item-1"><a-href="link4.html">fourth item</a></li>
<li class="item-0"><a-href="link5.html">fifth item</a>
</ul>
</div>
'''
html = etree.HTML(text)
result = html.xpath('//li[1]/a/text()')
print(result)
result = html.xpath('//li[last()]/a/text()')
print(result)
result = html.xpath('//li[position()<3]/a/text()')
print(result)
result = html.xpath('//li[last()-2]/a/text()')
print(result)

第一次选择时，我们选取了第一个li节点，这里在中括号中传入1就可。

第二次选择时，我们选取最后一个li节点，中括号中传入last（）即可。

第三次选择时，我们选取了位置小于3的li节点，运用了position()函数。

第四次选择时，我们选择了都输第三个li节点，中括号中传入last()-2即可。

在Xpath中，提供了100多个函数，包括存取、数值、字符串、逻辑、节点、序列等的处理功能。

14.节点轴选择

XPath提供了许多节点轴选择方法，包括获取子元素、兄弟元素、父元素、祖先元素等，示例如下：

from lxml import etreetext = '''
<div>
<ul>
<li class="item-0"><a-href="link1.html">first item</a></li>
<li class="item-1"><a-href="link2.html">second item</a></li>
<li class="item-inactive"><a-href="link3.html">third item</a></li>
<li class="item-1"><a-href="link4.html">fourth item</a></li>
<li class="item-0"><a-href="link5.html">fifth item</a>
</ul>
</div>
'''
html = etree.HTML(text)
result = html.xpath('//li[1]/ancestor::*')
print(result)
result = html.xpath('//li[1]/ancestor::div')
print(result)
result = html.xpath('//li[1]/attribute::*')
print(result)
result = html.xpath('//li[1]/child::a[@href="link1.html"]')
print(result)
result = html.xpath('//li[1]/descendant::span')
print(result)
result = html.xpath('//li[1]/following::*[2]')
print(result)
result = html.xpath('//li[1]/following-sibling::*')
print(result)

第一次选择时，我们调用了ancestor轴，可以获取所有的祖先节点。之后需要跟两个冒号，然后是节点的选择器，这里我们使用*，表示匹配所有节点。

第二次选择时，我们又加了限定条件div，这时得到的结果就只有div这个祖先节点了。

第三次选择时，我们调用了attribute轴，可以获取所有属性值，其建瓯跟的选择器还是*，代表获取节点的所有属性。

第四次选择时，我们调用了child轴，可以获取所有直接子节点。这里我们又加入了限定条件，选取href属性为link1.html的a节点。

第五次选择时，我们调用了descendant轴，可以获取所有的子孙节点。这里我们又加入了限制条件获取span节点。所以返回的结果只包含span节点而不包括a节点。

第六次选择时，我们调用了following轴，可以获取当前节点之后的所有节点。这里我们使用*匹配，但又加入了索引选择，所以只获取了第二个后续节点。

第七次选择时，我们调用了following-sibling轴，可以获取当前节点之后的所有同级节点。这里我们使用*匹配，获取所有后续同级节点。

参考书目：《Python 3 网络爬虫开发实战》

xpath中两个冒号_爬虫学习(5)—XPath相关推荐

爬虫爬评书吧_爬虫学习：xpath爬取评书网
在家闲着,想找点评书听,但找了很久都没找到方便打包下载的地方.于是就拿起自学的python爬虫,自己动手丰衣足食. 运行环境:Windows7,python3.7 操作步骤: 1.打开选好的评书主页面 ...
爬虫学习：XPath的使用
爬虫学习:XPath的使用文章目录爬虫学习:XPath的使用一.前言二.我的环境三.XPath的使用 1.准备工作 2.自动修正HTML文本 3.XPath常用规则 4.获取所有节点 5.获 ...
python 两阶段聚类_挑子学习笔记：两步聚类算法（TwoStep Cluster Algorithm）——改进的BIRCH算法...
转载请标明出处:http://www.cnblogs.com/tiaozistudy/p/twostep_cluster_algorithm.html 两步聚类算法是在SPSS Modeler中使用的 ...
Python3爬虫学习笔记——xpath练习之爬取起点网玄幻小说排行
这次看完xpath章之后巩固练习 import re import requests from lxml import etree def get_one_page(url):headers = {' ...
python爬虫教程资源_爬虫学习资源整理
啊,好久没写东西了,发现收到了好多人的私信,我只要有时间都一一回复了,虽说不一定有用,但权当我们互相交流啊,互相学习呀. 最近一篇<我分析了42万字歌词后,终于搞清楚民谣歌手唱什么了>文章 ...
python 安居客爬虫_爬虫学习6：爬取安居客的VR房源信息
公司的VR产品在推广前夕,需要做一个较详细的市场分析报告,我们可以从下面几个步骤来深入探讨: 1.需要展望整个VR的市场规模有多大,从而论证我们需要面对的市场分量, 2.在这个大市场下面,我们面对的细 ...
html中两个冒号,css中双冒号和单冒号区别
:--是指的伪类 ::--是指的伪元素 1.字面意思: 伪类,1.css中有类选择器,某些元素并未定义类名,就可以通过伪类赋予样式,如:[:nth-child(n)]:2.伪类可以应用于元素执行某种状 ...
python pandas 拿取表格中两个列_在家憋着也是憋着，不如来学习一下python数据聚合的方法...
#python打卡##Python数学编程##python##统计##大数据# 在实际工作过程中,我们经常会遇到对数据进行聚合的情况.针对这种数据聚合的结果,我们又称之为透视表.透视表是各种电子表格程 ...
python字符串两个冒号_在Python中按冒号分割字符串
我有一个提醒应用程序,我需要像一样打发时间3:30 a.m..我使用了re模块,但是失败了. 我想做的是在列表中的单词前面按冒号分隔时间.但是列表有多个单词.像一样 a.m.,am 程序应尝试输入单词 ...

xpath中两个冒号_爬虫学习(5)—XPath

xpath中两个冒号_爬虫学习(5)—XPath相关推荐

最新文章

热门文章