python模块专题—

lxml库用于在html字符串中使用xpath语言提取标签属性和内容等。

1 安装

pip install lxml

2 使用

from lxml import etreeele=etree.HTML("html字符串")
result=ele.xpath("xpath语法串")

对于list形式的元素，有两种提取方式

每次提取某个属性的所有值
先得到list，再每次获取单个对象的所有属性值。此时需要用./表名路径

3 示例

爬取豆瓣电影排行榜

import requests
import json
from lxml import etree# 一次性获取所有电影的信息
def xpath_html1():url='https://movie.douban.com/chart'header={"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36"}html=requests.get(url,headers=header)print(html.text)# 使用etree获取elementele=etree.HTML(html.text)# 获取电影名movie_name=[i.replace(' ','') for i in ele.xpath("//div[@class='indent']/div/table//div[@class='pl2']/a/text()")]print(movie_name)# 获取评分movie_rating=ele.xpath("//div[@class='indent']/div/table//div[@class='pl2']/div/span[@class='rating_nums']/text()")print(movie_rating)# 获取上映时间movie_date = ele.xpath("//div[@class='indent']/div/table//div[@class='pl2']/p/text()")print(movie_date)# 获取电影封面movie_poster=ele.xpath("//div[@class='indent']/div/table//a[@class='nbg']/img/@src")print(movie_poster)# 先得到电影list,再每次解析其中的每个电影详情
def xpath_html2():url = 'https://movie.douban.com/chart'header = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36"}html = requests.get(url, headers=header)print(html.text)# 使用etree获取elementele = etree.HTML(html.text)# 获取电影listlist=ele.xpath("//div[@class='indent']/div/table")movie_list=[]for movie in list:item={}name = movie.xpath(".//div[@class='pl2']/a/text()")item['name'] = name[0].replace("/","").replace("\n","").strip()rating=movie.xpath(".//div[@class='pl2']/div/span[@class='rating_nums']/text()")item['rating'] = rating[0]poster=movie.xpath(".//a[@class='nbg']/img/@src")item['poster']=poster[0]movie_list.append(item)print(json.dumps(movie_list,ensure_ascii=False))#转为json字符串，可以直接输出到json文件中if __name__=='__main__':# xpath_html1()xpath_html2()

Notice

应博友的要求，创建了一个QQ群，方便大家学习交流，群内也会经常分享一下学习资源。有兴趣的小伙伴可以加群哦！

python模块专题——10.lxml相关推荐

python模块--BeautifulSoup4 和 lxml
BeautifulSoup4和lxml 这两个库主要是解析html/xml文档,BeautifulSoup 用来解析 HTML 比较简单,API非常人性化,支持CSS选择器. Python标准库中的H ...
Python模块EasyGui专题学习
Python模块EasyGui专题学习 1.msgbox(msg,title,ok_button="OK",image="",root=None) 代码 imp ...
在CentOS 6.3/6.5 64bit上为python 2.7.10安装pycurl模块
公司线上都是使用CentOS 6.3 64bit版本,我家里装的是CentOS 6.6,它们默认的python版本是2.6.6.而我编写的几个python脚本是在Ubuntu 14.04 64bit上 ...
python白名单验证是什么意思_第10.5节使用__all__定义Python模块导入白名单
一.引言 <第10.4节 Python模块的弱封装机制>介绍了Python模块的的弱封装机制,除了使用弱封装机制来从一定程度上防止导入特定成员外,Python模块中还提供可另外一种类似白名 ...
python包和模块推荐_对于Python包和模块的10个常识清单
有同砚题目对于模块与包的题目,特给新人总结的对于Python包与模块的10个常识清单. 0.一个模块(module)就是一个py文件,模块的名字就是该文件的名字(不包罗后缀) 1.一个包(packa ...
10个有趣python模块
目录一.说明二.应用模块 2.1 文章裁剪Pyperclip 2.2 表情符Emoji 2.3 Howdoi 2.4 Wikipedia 2.5 New types at runtime 2.6 ...
Python容器专题 - 列表（list）
Python容器专题 - 列表(list) 导读:原文Python容器内容较长不便于阅读和查询,因而被分割称为了多个模块,本文只其中之一.在本文中,详细讲述了Python语言中的列表(list)及其用 ...
python 模块导入机制模块搜索 Python包发布python模块或程序
python 模块 python模块:以.py结尾的代码文件. 顶层文件: 程序执行入口模块文件1 模块文件2 模块文件3 在python中一 ...
Python模块（自己整理并不完整）
PY核心模块方法 ******************** os模块: os.remove() 删除文件 os.unlink() 删除文件 os.rename() 重命名文件 os.listdi ...

python模块专题——10.lxml

1 安装

2 使用

3 示例

Notice

python模块专题——10.lxml相关推荐

最新文章

热门文章