我想刮一页并收集所有链接。该页面显示30个条目并查看完整列表,点击全部加载按钮是必要的。点击按钮加载完整的HTML后,使用Selenium加载其他元素

我使用下面的代码:

from selenium import webdriver

from bs4 import BeautifulSoup

driver = webdriver.PhantomJS()

driver.get('http://www.christies.com/lotfinder/searchresults.aspx?&searchfrom=header&lid=1&entry=edgar%20degas&searchtype=p&action=paging&pg=all')

labtn = driver.find_element_by_css_selector('a.load-all')

labtn.click()

elem = driver.find_element_by_xpath("//*")

source_code = elem.get_attribute("outerHTML")

soup = BeautifulSoup(source_code, 'lxml')

url_list = []

for div in soup.find_all(class_ ='image-container'):

for childdiv in div.find_all('a'):

url_list.append(childdiv['href'])

print(url_list)

这里的HTML标记

Load all

我仍然得到原来的30个链接和初始密码。看来我没有正确使用硒,并想知道我做错了什么。

硒到目前为止工作。节点JS已安装,我设法做出截图并将其保存到文件中。

html中searchbutton点击没有反应,点击按钮加载完整的HTML后,使用Selenium加载其他元素...相关推荐

  1. Bootstrap中DropDown插件显示下拉列表,点击下拉列表区域,不会再自动关闭。

    目标: Bootstrap中DropDown插件显示下拉列表,点击下拉列表区域,不会再自动关闭. 参考:http://v3.bootcss.com/javascript/#dropdowns    / ...

  2. Vue 实现图片在循环中 默认 和 选中 之间的点击切换

    Vue 实现图片在循环中 默认 和 选中 之间的点击切换 html <ul style="font-size:20px;"><li:key="lesso ...

  3. 中源数聚携手中科点击共推管理咨询变革

    文章讲的是中源数聚携手中科点击共推管理咨询变革,5月23日,首届管理大数据圆桌论坛暨中源数聚.中科点击战略签约仪式在北京丰台科技园总部基地国信优易发布厅隆重举行.来自管理咨询.大数据.云计算.行业领导 ...

  4. android 键盘回车按钮事件,Android中ENTER键(确认键)点击响应

    背景:在机顶盒中通过遥控器操作,与传统手机交互方式不同.手机点击是发送两个TouchEvent(Down和Up),机顶盒是发送KeyEvent.所产生的效果看似相同,其实是两种不同的机制. 先看两段代 ...

  5. 设置ListView中的所有Item均不可点击

    设置ListView中的所有Item均不可点击 正常地说一般要是使一个控件不可点击,不外乎使用以下几种方法 - setEnable - setClickable - setFocusable 但是对于 ...

  6. C语言 在程序中打开网页,模拟鼠标点击、键盘输入

    C语言 在程序中打开网页,模拟鼠标点击.键盘输入 一.简述         记--使用C语言 打开指定网页,并模拟鼠标点击.键盘输入.实现半自动填写账号密码,并登录网站(当然现在的大部分网站都有验证码 ...

  7. el-tree中更改鼠标移动时、点击时和失去焦点时的背景色

    el-tree中更改鼠标移动时.点击时和失去焦点时的背景色 注意: 此修改仅在没有加scoped的style标签下起作用,加上scoped则不起作用,如果该页面其他样式需要有scoped,那就在页面上 ...

  8. vue中监听页面,禁止点击浏览器返回按钮返回

    问题 某个页面限制用户点击浏览器返回按钮返回 解决方法 在该页面的vue实例中添加mounted destroyed钩子,并且添加goBack方法加以限制 mounted () {if (window ...

  9. Android 中 利用 AccessibilityService 辅助服务 模拟点击事件

    在 Android 中想要执行一些模拟点击操作,在无法修改页面源码的情况下,通常只能使用 adb 和借助辅助功能两种方式. Adb 方式 借助 adb shell 的命令,我们可以使用下面的方式模拟一 ...

最新文章

  1. 把握数据,驱动未来 | 清华大学大数据研究中心2020年RONG奖学金答辩会成功举办...
  2. redis cluster配置文件和集群状态详解
  3. paramterType和resultType的区别
  4. vue1.0和vue2.0生命周期----整理一
  5. linux获取进程io,linux查看哪个进程占用磁盘IO
  6. VS2010 Resource view为空的解决办法
  7. python 3.3.3 字面量,正则,反斜杠和原始字符串
  8. Shell命令对整数求和,每行一个?
  9. python备注(持续更新……)
  10. 【Oracle】Oracle分析函数详解
  11. matlab altera视频,Altera 官网中文视频教程 下载地址
  12. [信息论与编码理论专题-6]:物理层信道编码
  13. 零基础HTML入门教程(21)--表格
  14. P2339 [USACO04OPEN]Turning in Homework G 笔记/题解
  15. 解放你的双手,python在excel中的高效办公
  16. 《袁老师访谈录》第十九期-【在商言商·思享会】(第一场)“企业如何抓住新一代科技红利”...
  17. 我喜欢的刀刀______扮演别人快乐么?
  18. 基于canvas实现波浪式绘制图片
  19. 不怕千招会,就怕一招精,学编程不要盲目跟风
  20. pytorch中repeat()函数理解

热门文章

  1. java查漏补缺(基础篇)
  2. python async socket_Python开发中常用的标准库,这些都是你应该掌握的
  3. 和push的区别_RocketMQ的消息订阅push和pull的区别
  4. SQLSERVER:sqlserver2008r2安装好后,自动提示功能不可以使用
  5. 【Office Word】论文排版有关技巧
  6. 使用Java处理大文件
  7. [jQuery1.9]Cannot read property ‘msie’ of undefined错误的解决方法
  8. [股市]跳搂指数(收藏)
  9. 华为ensp的缺省_华为模拟器 eNSP安装教程
  10. (19)FPGA脉冲计数器设计(第4天)