python爬虫如何从一个页面进入另一个页面-Python爬虫信息输入及页面的切换方法...

实现网页的键盘输入操作

from selenium.webdriver.common.keys import Keys

动态网页有时需要将鼠标悬停在某个元素上，相应的列表选项才能显示出来。

而爬虫在工作的时候也需要相应的操作，才能获得列表项。

driver.find_element_by_class_name(...).send_keys(需要输入的字串)

#find_element_by_class_name可以是find_element_by_link_text、find_element_by_id等其他方式

#send_keys一些特殊字符串，可以通过help(Keys)显示出来,如实现按回车操作需要使用Keys.ENTER

实现网页上的鼠标的动作

driver.find_element_by_link_text('更多').click()#需要指示到/a链接的位置

#同样find_element_by_link_text可以是find_element_by_id等类似的其他方式

使用ActionChains可以实现鼠标的更多操作

from selenium.webdriver.common.action_chains import *

ActionChains中的操作：

click() -- 单击、click_and_hold()-- 按下鼠标左键在一个元素上、context_click() --单击、double_click()--双击、drag_and_drop()--拖动、key_down()、key_up()、move_by_offset()、move_to_elment()、move_to_elment_with_offset()

动态网页鼠标操作及遇到的问题

动态网页有时需要将鼠标悬停在某个元素上，相应的列表选项才能显示出来。而爬虫在工作的时候也需要相应的操作，才能获得列表项。

#首先需要将鼠标停留到相应的元素

chain = ActionChains(driver)

moveelment = driver.find_element_by_xpath("...")

chain.move_to_element(moveelment).perform()

driver.find_element_by_xpath("//div[@class='search-condition c5 drop-down']/a/div").click()

#而后进行选择列表项

driver.find_element_by_xpath("//ul[@id='category_list']/li[1]/a").click()

driver.find_element_by_xpath("//ul[@id='category_list']/li[2]/a").click()

而当想要进行多列操作时出现了问题：driver.find_element_by_xpath("//ul[@id='category_list']/li[2]/a").click()一直无法成功仔细debug发现：在人工浏览查看相应列表时，全屏情况下列表显示是3列，而当需要聚焦特殊网页时，通过解析current_url进行比较即可，是否存在更好的方法。如果窗口很小就只能显示第一列的值。所以尝试将爬虫后台浏览器窗口设置成最大化，程序正常工作，如下：

#... ...

driver.find_element_by_xpath("//ul[@id='category_list']/li[1]/a").click()

driver.maximize_window()

time.sleep(1)

driver.find_element_by_xpath("//ul[@id='category_list']/li[2]/a").click()

关于窗口的页面切换方式

经常在网页操作时，会弹出新的页面，而爬虫需要程序进行窗口间的切换。

#切换网页，以获取新弹出的网页窗口

for handle in driver.window_handles:

driver.switch_to_window(handle)

print('current url:%s'%driver.current_url)

当需要聚焦特殊网页时，通过解析current_url进行比较即可，是否存在更好的方法。

以上这篇Python爬虫信息输入及页面的切换方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

python爬虫如何从一个页面进入另一个页面-Python爬虫信息输入及页面的切换方法...相关推荐

python爬取百度百科表格_第一个python爬虫（python3爬取百度百科1000个页面）
以下内容参考自:http://www.imooc.com/learn/563 一.爬虫简介爬虫:一段自动抓取互联网信息的程序爬虫可以从一个url出发,访问其所关联的所有的url.并从每个url指向 ...
python爬虫如何从一个页面进入另一个页面-爬虫入门（一）——如何打开一个网页...
做了一段时间自然语言处理的项目,体会到了爬虫的乐趣,甚至一度产生了学好爬虫真的可以为所欲为的美妙错觉.因此决定开个坑,记录自己的爬虫学习过程,也督促自己学习更高深的爬虫姿势.目前我只用到了最基础的爬虫 ...
爬虫python代码-Python爬虫教程：200行代码实现一个滑动验证码
Python爬虫教程:教你用200行代码实现一个滑动验证码做网络爬虫的同学肯定见过各种各样的验证码,比较高级的有滑动.点选等样式,看起来好像挺复杂的,但实际上它们的核心原理还是还是很清晰的,本文章大 ...
python爬虫分布式怎么构造_如何构建一个分布式爬虫：实战篇
本篇文章将是『如何构建一个分布式爬虫』系列文章的最后一篇,拟**从实战角度**来介绍如何构建一个*稳健的分布式微博爬虫*.这里我*没敢谈高效*,抓过微博数据的同学应该都知道微博的反爬虫能力,也知道微博 ...
python爬虫代码-Python爬虫教程：200行代码实现一个滑动验证码
Python爬虫教程:教你用200行代码实现一个滑动验证码做网络爬虫的同学肯定见过各种各样的验证码,比较高级的有滑动.点选等样式,看起来好像挺复杂的,但实际上它们的核心原理还是还是很清晰的,本文章大 ...
[Python 爬虫] 使用 Scrapy 爬取新浪微博用户信息（二） —— 编写一个基本的 Spider 爬取微博用户信息
上一篇:[Python 爬虫] 使用 Scrapy 爬取新浪微博用户信息(一) -- 新建爬虫项目在上一篇我们新建了一个 sina_scrapy 的项目,这一节我们开始正式编写爬虫的代码. 选择目标 ...
用pycharm进行python爬虫的步骤_使用Pycharm写一个网络爬虫
在初步了解网络爬虫之后,我们接下来就要动手运用Python来爬取网页了. 我们知道,网络爬虫应用一般分为两个步骤: 1.通过网页链接获取内容: 2.对获得的网页内容进行处理这两个步骤需要分别使用不同 ...
10分钟python爬虫_python scrapy 入门,10分钟完成一个爬虫
在TensorFlow热起来之前,很多人学习python的原因是因为想写爬虫.的确,有着丰富第三方库的python很适合干这种工作. Scrapy是一个易学易用的爬虫框架,尽管因为互联网多变的复杂性仍 ...
[CentOS Python系列] 一.阿里云服务器安装部署及第一个Python爬虫代码实现
从2014年开始,作者主要写了三个Python系列文章,分别是基础知识.网络爬虫和数据分析. Python基础知识系列:Pythonj基础知识学习与提升 Python网络爬虫系列:Python爬虫之S ...

python爬虫如何从一个页面进入另一个页面-Python爬虫信息输入及页面的切换方法...

python爬虫如何从一个页面进入另一个页面-Python爬虫信息输入及页面的切换方法...相关推荐

最新文章

热门文章