爬虫第四篇：html解析之xpath

在上面的三篇中我们html的解析都是用了正则表达式进行匹配。下面我们主要说一下一个使用起来很简单的模块xpath进行匹配解析html文本。

Chrome上有一款插件：XPath Helper，直接在浏览器就可以验证xpath表达式的书写是否正确。

lxml 使用流程

1. from lxml import etree
2. parseHtml = etree.HTML(html)
3. rList = parseHtml.xpath('表达式')

xpath匹配规则

1. 获取节点对象//div[@class="test"]
2. 获取节点属性值//div[@class="test"]//a/@src
3. 函数//div[contains(@class,"test")]/a/@href 4.获取节点对象内容 //div/a/text()

抓取Demo实例

import requests
from lxml import etreeurl = 'https://maoyan.com/board/4?offset=10'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
}# 获取页面
res = requests.get(url, headers=headers)
html = res.text parseHtml = etree.HTML(html) rList = parseHtml.xpath('//dl[@class="board-wrapper"]/dd') for r in rList: name= r.xpath('./a/@title') print(name)

转载于:https://www.cnblogs.com/leijing0607/p/7840341.html

爬虫第四篇：html解析之xpath相关推荐

爬虫第四篇-爬虫对网站改版快速解决思路
采集数据时难免遇到采集网站的页面改版,快速解决页面改版对解析的影响对业务稳定性有重要影响 ##页面改版的影响针对不同的解析网站,影响程度不一,一般资讯类影响最小,表格类和报告类影响最大资讯类网站 ...
python自带网页解析器_Python爬虫Chrome网页解析工具-XPath Helper
之前就说过Python爬虫中Xpath的用法,相信每一个写爬虫.或者是做网页分析的人,都会因为在定位.获取XPath路径上花费大量的时间,在没有这些辅助工具的日子里,我们只能通过搜索HTML源代码,定 ...
解剖SQLSERVER 第四篇 OrcaMDF里对dates类型数据的解析（译）
解剖SQLSERVER 第四篇 OrcaMDF里对dates类型数据的解析(译) http://improve.dk/parsing-dates-in-orcamdf/ 在SQLSERVER里面有几 ...
python 安装xpath_Python网络爬虫（四）- XPath1.XPath2.XPath在python中的应用
目录: 1.XPath XPath即为XML路径语言(XML Path Language),它是一种用来确定XML文档中某部分位置的语言.它使用路径表达式来选取 XML 文档中的节点或节点集.节点是通 ...
python爬虫正则解析及xpath解析，lxml解析库
正则解析模块re re模块使用流程方法一 r_list=re.findall('正则表达式',html,re.S) 方法二 # 1.创建正则编译对象 pattern = re.compile('正则 ...
Python爬虫从入门到精通——解析库pyquery的使用
分类目录:<Python爬虫从入门到精通>总目录解析库使用篇: 解析库re的使用:正则表达式解析库XPath的使用解析库Beautiful Soup的使用解析库pyquery的使用 ...
CSDN爬虫（四）——博客专家(所有)爬取+数据分析
CSDN爬虫(四)--博客专家(所有)爬取+数据分析说明开发环境:jdk1.7+myeclipse10.7+win74bit+mysql5.5+webmagic0.5.2+jsoup1.7.2 爬 ...
Java中四种XML解析技术之不完全测试
Java中四种XML解析技术之不完全测试 <script language=javascript src=""></script> 在平时工作中,难免会遇到 ...
浅谈解析库XPath，bs4和pyquery
<浅谈解析库XPath,bs4和pyquery> 作者:墨非墨菲非菲前几天在CSDN看到一篇帖子,题目是"如何让自己像打王者一样发了疯,拼了命,石乐志的学习".这里面 ...

爬虫第四篇：html解析之xpath

lxml 使用流程

xpath匹配规则

抓取Demo实例

爬虫第四篇：html解析之xpath相关推荐

最新文章

热门文章