python3爬虫必学Xpath，快速使用lxml.etree

2024-05-31 04:36:19

为什么80%的码农都做不了架构师？>>>

为神马要用Xpath而不是BeautifulSoup呢？

Xpath是要更高效一些的，最重要的是我不需要去查看html结构，通过chrome直接复制Xpath路径就可使用，对于懒人来说这个是挺不错的功能，而且同样强大。当然，萝卜白菜，各有索爱。工具嘛，顺手才是好！

Xpath的安装

>>> PIP3 install lxml

win的安装可以参考后续安装文档

引用

from lxml import etree

解析文本方式

常用HYML()的方式来解析html文件，lxml.etree也提供了fromstring()方式来解析字符串，XML()方式解析XML对象，parse()解析文件类型对象

Xpath的使用

import requests
from lxml import etree
url = 'your url'
content = requests.get(url).content
html = etree.HTML(content)
element =html.xpath('//*[class='class']/div/text()')
print(element)

首先获取的element可能是列表，或节点。这个非常重要，后续操作需要。

'.'----选取当前节点

'..'----选取当前节点的父元素节点

'@'----选取属性

'*'----匹配任何元素

'@*'----匹配任何属性

交流欢迎到我的博客：http://www.nigaea.com/dataanalysis/89.html

参考文档：

http://lxml.de/xpathxslt.html#xpath

http://www.w3school.com.cn/xpath/

https://zhuanlan.zhihu.com/p/20584357

http://blog.chinaunix.net/uid-13869856-id-5747494.html

转载于:https://my.oschina.net/at5/blog/816344

python3爬虫必学Xpath，快速使用lxml.etree相关推荐

【视频教程免费领取】聚焦Python分布式爬虫必学框架Scrapy 打造搜索引擎
领取方式关注公众号,发送Python0407获取下载链接. 扫码关注公众号,公众号回复 Python0407 获取下载地址目录结构目录:/读书ReadBook [57.6G] ┣━━48G全套J ...
python xpath语法-Python爬虫基础之XPath语法与lxml库的用法详解
前言本来打算写的标题是XPath语法,但是想了一下Python中的解析库lxml,使用的是Xpath语法,同样也是效率比较高的解析方法,所以就写成了XPath语法和lxml库的用法 XPath 即为 ...
Python3爬虫学习笔记——xpath练习之爬取起点网玄幻小说排行
这次看完xpath章之后巩固练习 import re import requests from lxml import etree def get_one_page(url):headers = {' ...
java位运算求幂,程序员必学：快速幂算法
前阵子,有小伙伴在我B站的算法教程底下留言小伙伴们有任何疑问或者希望我解说任何内容,都可以在我的小我私家B站或民众号(xmg_mj)留言哦,我会尽我最大能力.只管抽时间去写文章\录视频来回应人人. ...
python多线程爬虫数据顺序_Python爬虫必学知识点：多线程爬虫
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者:黑白之道什么是线程线程(Thread)也叫轻量级进程,是操作系统 ...
小白必学的爬虫基础（二）
爬虫基础知识网络爬虫爬虫可以解决的问题爬虫工程师的进阶之路搜索引擎搜索引擎的主要组成搜索引擎的工作流程搜索引擎的局限性聚焦爬虫爬虫准备工作 robots协议 sitemap–网站地图 ...
python爬虫基础(二)～工具包: 下载包requests、urllib和解析包BeautifulSoup(bs4)、lxml.etree.xpath
目录 1. html下载工具包 1.1 urllib工具包 1.1.1 urllib错误一 1.2 Requests工具包 1.2.1 requests错误一 2. html解析工具包 2.1 Bea ...
Python3 爬虫学习笔记 C07 【解析库 lxml】
Python3 爬虫学习笔记第七章 -- [解析库 lxml] 文章目录 [7.1]关于 lxml [7.2]使用 XPath [7.3]查找所有节点 [7.4]查找子节点 [7.5]查找父节点 [7 ...
python3.8.5怎么用-Python 3.8 新功能大揭秘【新手必学】
最新版本的Python发布了!今年夏天,Python 3.8发布beta版本,在2019年10月14日,第一个正式版本已准备就绪.现在,我们都可以开始使用新功能并从最新改进中受益. Python 3. ...
python xpath语法-Python爬虫之XPath语法和lxml库的用法
本来打算写的标题是XPath语法,但是想了一下Python中的解析库lxml,使用的是Xpath语法,同样也是效率比较高的解析方法,所以就写成了XPath语法和lxml库的用法安装为什么要用这个库 ...

最新文章

热门文章