有问题请在博客下留言或加作者微信：tinghai87605025 或 QQ ：87605025

python QQ交流群：py_data 483766429

一、xpath 浅谈

1.1 xpath 是什么？

给某些规律信息找通用表达式，我们首先想到的是正则，然而，对于大部分的我们正则用的是不好的，如果用来处理HTML文档是很累，那么有没有其他的方法？答案是肯定的，有！那就是XPath，我们可以先将网络获取的String类型数据转换成 HTML/XML文档，然后用 XPath 查找 HTML/XML 节点或元素。

即XPath (XML Path Language) 是一门在 XML 文档(如下图)中查找信息的语言，可用来在 XML 文档中对元素和属性进行遍历

1.2 lxml 库

lxml 是 一个HTML/XML的解析器，主要的功能是如何解析和提取 HTML/XML 数据。

lxml和正则一样，也是用 C 实现的，是一款高性能的 Python HTML/XML 解析器，我们可以利用XPath语法，来快速的定位特定元素以及节点信息。

二、 xpath 路径表达式

2.1 最常用的路径表达式

2.2  常用路径表达式以及表达式的结果

2.3 选取未知节点

2.4 选取若干路径，通过在路径表达式中使用“|”运算符，您可以选取若干个路径

2.5 xpath的运算符

三、xpath 入门测试

3.1 lxml 读取数据

测试页面

1. 醉卧沙场君莫笑，古来征战几人回
2. 两岸猿声啼不住，轻舟已过万重山
3. 一骑红尘妃子笑，无人知是荔枝来
4. 停车坐爱枫林晚，霜叶红于二月花
5. 商女不知亡国恨，隔江犹唱后庭花

3.2 xpath 入门实验

lxml 、element 、etree

1 importrequests2

3 #lxml

4 #element 标签

5 #etree 标签树

6 from lxml importetree7

8 url = 'https://www.qiushibaike.com/text/'

9

10 x = '''/html/body/div[@id='content']/div[@class='content-block clearfix']/div[@id='content-left']/div[@id='qiushi_tag_120441381']/div[@class='author clearfix']/a[1]/img/@src'''

11

12

13 x = '''/html/body/div[@id='content']/div[@class='content-block clearfix']/div[@id='content-left']/div[@id='qiushi_tag_112124634']/div[@class='author clearfix']/a[1]/img/@src'''

14

15 x = '//img/@src'

16

17 x = '''/html/body/div[@id='content']/div[@class='content-block clearfix']/div[@id='content-left']18 /div[@id='qiushi_tag_112124634']/a[@class='contentHerf']/div[@class='content']/span'''

19

20 x = '//div[@class="content"]/span/text()'

21 response = requests.get(url=url,verify =False)22 response.encoding = 'utf-8'

23

24 #String 串

25 html =response.text26

27 #使用etree，转换成标签树

28 #json.loads() 类似

29

30

31 html_tree =etree.HTML(html)32

33 #print(html_tree)

34 #print(etree.tostring(html_tree).decode('utf-8'))

35

36

37 #对etree对象使用xpath方法，根据xpath语句进行数据的查找

38 src =html_tree.xpath(x)39

40 print(src)

获取所有的

标签

1 from lxml importetree2

3 html = etree.parse('hello.html')4 li_list = html.xpath('//li')5

6 print(li_list) #打印

标签的元素集合

7 print(len(li_list))

继续获取

标签的所有 class属性

1 from lxml importetree2

3 html = etree.parse('hello.html')4 result = html.xpath('//li/@class')5 print(result)

继续获取

标签下hre 为 link1.html 的 标签

1 from lxml importetree2 html = etree.parse('./hello.html')3 result = html.xpath('//li/a[@href="link1.html"]')4 print(result)

获取

标签下的所有 标签

1 from lxml importetree2 data = '''

3

'''

12 html =etree.HTML(data)13 result = html.xpath('//li//span')14 print(result[0].text)

获取

标签下的