简单粗暴彻底解决selenium+chromedriver无法定位各种元素的方法

等等等！客官不要心急，等全部加载出来了就完全是你的了

经过近一周时间终于搞定了，由于ajax网页内部非常复杂，导致爬虫爬取的时候如果网页内部一些元素尚未完全出现会出现各种webdriver.find_element定位不准的问题，并且由于不同的浏览器工作细节并不完全相同，导致使用chromedriver能定位的phantomjs不行，反之亦然，这方面是常常遇到的，看看github上coder们的困惑：

Phantomjs cannot find element where chrome and firefox can

发生问题多种，比如无法找到，无法定位到，有遮罩等，其实问题就是一个，网页还没有完全加载完毕，下面的解答：

Python selenium —— 一定要会用selenium的等待，三种等待方式解读

关于selenium 的应用，这个博客下面还有很多相关文章不错推荐学习。

下面是我的代码，一个技术小白只追求能弄出来的代码：

# -*- coding: utf-8 -*-
from selenium import webdriver
from selenium.webdriver.common.keys import Keys #导入模拟点击
import re
import codecs
from time import sleep  #导入等待 无比重要的等待browser = webdriver.Chrome()  #mac系统的话chromedriver()放到 usr/local/bin/ 下面就可以 不需要禁用sip
browser.get('https://www.你的网址')
elem = browser.find_element_by_class_name("J-search-input")
sleep(5)
elem.send_keys(u'搜索框输入中文')
elem.send_keys(Keys.RETURN)
sleep(5)
browser.find_element_by_partial_link_text("你要点击的").click() #用phantomjs返回找不到，应该也是网页没有完全加载完成导致的
print (browser.current_url)
htmlstart = browser.page_source
digurl = re.findall(r'''data-hippo-type="shop" title=(.*?)>''',htmlstart,re.S)
i=0
for each in digurl:i +=1print (each)for j in range(0, 2):browser.find_element_by_partial_link_text('下一页').click()browser.implicitly_wait(100)  #隐式等待100秒，对于我这个数据爱好者来说，这个时间完全可以等print(browser.current_url)htmlloop = browser.page_sourcedigurlloop = re.findall(r'''data-hippo-type="shop" title=(.*?)>''',htmlloop,re.S)k = 0for each in digurlloop:k += 1print (each)browser.quit() #这点比phantomjs好，因为chrome自动退出就知道运行完成了。#上面的时间等待如果可以就直接爬到第50页，如果被拦截，就可以点击到第10页，第20页这样summary:open Chrome, Firefox or phantomjs and sleep for 1 minute to wait for all html loaded. 昨日运行代码，明明可以点击，今日又定位不到元素了，原因应该是网页打开之后一个活动推广图片盖住元素，但是等待再久也没用，于是换了phantomjs解决了，还是不去研究网页自己怎么加载的，只要网页一改 也还要改代码，如果等待也还是解决不了的话，就是更换driver，driver其实很多，东方不亮西方亮

简单粗暴彻底解决selenium+chromedriver无法定位各种元素的方法相关推荐

Selenium ChromeDriver 截图标记指定元素的方法
phantomjs 是无头浏览器的代表,可以截全屏的图,对于标记元素来说是很简单的;不过最新的 Selenium 版本表示不再支持:所以只能使用其他的代理品; 正好 chrome ,Firefox 等 ...
解决selenium + chromedriver模拟登录被淘宝反爬
解决selenium + chromedriver模拟登录被淘宝反爬问题使用 selenium + webdriver 模拟淘宝登录时,出现滑动验证码反爬,尝试程序模拟滑动滑块,以及在程序打开的 ...
Python selenium根据class定位页面元素，xpath定位
Python selenium根据class定位页面元素在日常的网页源码中,我们基于元素的id去定位是最万无一失的,id在单个页面中是不会重复的.但是实际工作中,很多前端开发人员并未给每个元素都编写 ...
selenium第三课（selenium八种定位页面元素方法）
selenium webdriver进行元素定位时,通过seleniumAPI官方介绍,获取页面元素的方式一共有以下八种方式,现按照常用→不常用的顺序分别介绍一下. 官方api地址:https://s ...
java猴子分桃问题_通俗易懂、简单粗暴得解决猴子分桃问题
起因海滩上有一堆桃子,五只猴子来分.第一只猴子把这堆桃子分为五份,多了一个,这只猴子把多的一个仍入海中,拿走了一份.第二只猴子把剩下的桃子平均分成五份,又多了一个,它同样把多的一个扔入海中,拿走了一 ...
通俗易懂、简单粗暴地解决各类猴子分桃问题
起因海滩上有一堆桃子,五只猴子来分.第一只猴子把这堆桃子分为五份,多了一个,这只猴子把多的一个仍入海中,拿走了一份.第二只猴子把剩下的桃子平均分成五份,又多了一个,它同样把多的一个扔入海中,拿走了一 ...
java 5只猴子分桃_通俗易懂、简单粗暴得解决猴子分桃问题
c编程技巧-117个问题解决方案示例 79.2元包邮 (需用券) 去购买 > 起因海滩上有一堆桃子,五只猴子来分.第一只猴子把这堆桃子分为五份,多了一个,这只猴子把多的一个仍入海中,拿走了一 ...
【纪念，大年三十，IP第一次被封】IP被封，没法练习。用代理？太麻烦了，教你一招简单粗暴的解决办法！！！
背景博主打算利用scrapy框架进行豆瓣TOP250的全站爬取.结果由于连续运行多次,被网站识别出来了,就有了下面这个图片:(只要不登录,怎么刷新都是这个页面) 关于IP被封第一反应,大家一定会想 ...
打开此电脑一直在读条简单粗暴的解决方法亲测有效！！！
打开文件夹,在上面找到查看-选项- 在常规-隐私-单击清除,即可还慢的话,你要把查看预览修改一下右键打开以下是我的设定,改了后一定变快!但仅供参考

简单粗暴彻底解决selenium+chromedriver无法定位各种元素的方法

等等等！客官不要心急，等全部加载出来了就完全是你的了

简单粗暴彻底解决selenium+chromedriver无法定位各种元素的方法相关推荐

最新文章

热门文章