如何在html页面遍历对象,Python:如何使用LXML/Requests遍历HTML元素对象?
我尝试使用LXML&Requests从网站创建一个数据表。我需要标签中的文本和标签中包含的文本。以下是HTML:
基于此,我想创建一个如下表:
^{pr2}$
使用Requests&LXML,我尝试遍历div class="houses"以获得所需的内容,但每次我尝试打印值时,它都会打印以下内容:['107', '237', '104']
['MT', 'MT', 'MT']
['Occupied', 'Occupied', 'Vacant']
['Helena', 'East Helena', 'Helena']
['Helena Valley', 'Helena Valley', 'Helena Valley']
['107', '237', '104']
['MT', 'MT', 'MT']
['Occupied', 'Occupied', 'Vacant']
['Helena', 'East Helena', 'Helena']
['Helena Valley', 'Helena Valley', 'Helena Valley']
['107', '237', '104']
['MT', 'MT', 'MT']
['Occupied', 'Occupied', 'Vacant']
['Helena', 'East Helena', 'Helena']
['Helena Valley', 'Helena Valley', 'Helena Valley']
这是我的部分代码:link = "example.com"
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}
response = requests.get(link, headers=headers, allow_redirects=False)
sourceCode = response.content
htmlElem = html.document_fromstring(sourceCode)
houses = htmlElem.find_class('houses')
for house in houses:
houseNumber = house.xpath('//input[@class="houseNumber"]/@value')
houseState = house.xpath('//input[@class="houseState"]/@value')
houseStatus = house.xpath('//input[@class="houseStatus"]/@value')
如何在上面所示的表中捕获数据?我可以用不同的方式遍历houses对象吗?在
更新:@efirvida我已将代码修改为以下内容:link = "example.com"
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}
response = requests.get(link, headers=headers, allow_redirects=False)
sourceCode = response.content
htmlElem = html.document_fromstring(sourceCode)
houses = htmlElem.find_class('houses')
houseNumber = []
houseState = []
houseStatus = []
for house in houses:
houseNumber.append(house.xpath('//input[@class="houseNumber"]/@value'))
print(houseNumber)
houseState.append(house.xpath('//input[@class="houseState"]/@value'))
houseStatus.append(house.xpath('//input[@class="houseStatus"]/@value'))
data = map(list, zip(*[houseNumber,houseState,houseStatus]))
当我这样做时,会有以下指纹:[['107', '237', '104']]
[['107', '237', '104'], ['107', '237', '104']]
[['107', '237', '104']], ['107', '237', '104'], ['107', '237', '104']]
如何在html页面遍历对象,Python:如何使用LXML/Requests遍历HTML元素对象?相关推荐
- php 改变页面元素,动态更改网页HTML元素(对象)内容_经验交流
动态HTML的出现为用户提供了一种基于传统标准HTML来创建交互式页面的机制.本文主要针对IE 5.0谈谈如何通过其提供的HTML文档对象(DOM)模型使用脚本添加.删除.修改页面中的HTML元素(对 ...
- 如何把python可视化到前端_python数据可视化的效果如何在web页面中展示_北京可视化股票...
有什么APP可以展示可视化的任务进度 可视化任务进度软件,使用敬业签,具体可视有事项开始时间,进度及人.还有结束时间以及人员处理速等等,更多功能如下: 1.敬业签是一款功能比较全面的桌面便签软件,分为 ...
- 如何在ashx页面获取Session值(未将对象引用设置到对象的实例) (转)
如何在ashx页面获取Session值(未将对象引用设置到对象的实例) 分类: .Net学习笔记 Session 2011-11-30 10:25 902人阅读 评论(1) 收藏 举报 在一般事务处理 ...
- 如何在 Apache Flink 中使用 Python API?
本文根据 Apache Flink 系列直播课程整理而成,由 Apache Flink PMC,阿里巴巴高级技术专家 孙金城 分享.重点为大家介绍 Flink Python API 的现状及未来规划, ...
- python flink_如何在 Apache Flink 中使用 Python API?
原标题:如何在 Apache Flink 中使用 Python API? 导读:本文重点为大家介绍 Flink Python API 的现状及未来规划,主要内容包括:Apache Flink Pyth ...
- python循环展示大写字母_python调用大写函数python中字典的循环遍历的两种方式
开发中经常会用到对于字典.列表等数据的循环遍历,但是python中对于字典的遍历对于很多初学者来讲非常陌生,今天就来讲一下python中字典的循环遍历的两种方式. 注意: python2和python ...
- python在读写文件之前需要创建文件对象-python基础教程:文件读写
在Linux系统中,一切都是文件.但我们通常说的文件是保存在磁盘上的图片.文档.数据.程序等等.而在程序的IO操作中,很多时候就是从磁盘读写文件.本节我们讲解Python中的文件对象如何操作文件. 创 ...
- 如何在Web页面上直接打开、编辑、创建Office文档 (转载)
有朋友询问如何在Web页面上做到像SharePoint中的效果一样,能直接激活客户端的Word来打开.doc文件,而不是类似直接点击.doc文档链接时Word在IE中被打开那样.想想这个问题应该很多人 ...
- [ZZ]如何在Web页面上直接打开、编辑、创建Office文档
[作者:kaneboy,来源:博客堂] 有朋友询问如何在Web页面上做到像SharePoint中的效果一样,能直接激活客户端的Word来打开.doc文件,而不是类似直接点击.doc文档链接时Word在 ...
最新文章
- 第二批重磅嘉宾已就位,邀你共探AI行业新机遇 | MEET2022智能未来大会
- jsp页面怎么调用的servlet
- Bootstrap-Other:UI 编辑器
- 计算机职称在线考试报名系统,计算机职称考试报名时间及入口2021年9月
- 跳转控制语句之break
- python爬取去哪网数据_python最强的代理池,突破IP的封锁爬取海量数据(送项目源码)...
- 《 Linux的安装和入门 》
- java中关于日期类Calendar的简单使用
- MVVM 架构解析及 Jetpack 架构组件的使用
- bea tuxedo中间件入门
- 百融大数据自助查询_百融大数据
- 基于HPC场景的集群管理系统(slurm系统初相识)
- 用SPSS求均值 方差 标准差小例题
- 反思-我们真的初老了么?
- java sort 没法用,$ group无法使用Spring聚合类后的$ sort管道
- 提升嵌入式开发效率小技巧——开发环境配置
- 领导逼迫员工离职的10大套路
- 初识基于搜索的软件工程
- VMware安装tools
- GitHub项目、代码搜索、使用等技巧
热门文章
- 我常用的10个Python实用小Trick
- 神仙尬聊!哲学马云VS科技马斯克:生活就该每周工作12小时,开特斯拉玩遍三千城市...
- flex java类转成_Flex 与 java 通讯 【转】
- centos7日志文件_Shell 脚本自动监控重启 httpd 服务并记录日志
- 正则不能全为某个值_TensorFlow学习Program1——补充附录(7)线性回归、逻辑回归与正则化...
- Android本地存储键值对,flutter本地存储键值对简单数据(相当于web的localstorage) 代码实现...
- Binary Tree Traverasl with OO and Stack
- JS-copy到剪贴板
- mybatis当遇到,用mysql关键字作为的字段的表,如何处理
- unity editor下选中GameObject粘贴复制pos信息