Python爬虫用（Python+Selenium）打开谷歌，IE，火狐浏览器，并访问网页

鄙人有个业务，爬58同城网站，原先用阿布云代理，可是20块一天太贵了，于是就用西刺网的代理ip,然后发现好多ip竟然没用

还要输入验证码，于是就写了一些业务代码，当爬到网站标题中包含 '验证码 ' 三个字的时候就自动打开谷歌浏览器，并访问该

网页。

后续会增加一个自动输入验证码的代码，话不多说先上代码

1. 安装selenium pip install selenium

2.找到谷歌浏览器安装文件目录，查看谷歌浏览器版本，通过

http://chromedriver.storage.googleapis.com/index.html

找到对应版本的 chromedriver

3.把下载好的 chromedriver.exe 放在python安装环境的 Scripts 文件夹下，

注意：该Scripts文件夹要配置在环境变量的path下

4.引包

 from selenium import webdriver

5. 业务代码：

title = doc('title')
print(title)
title = doc('title').text()
if '验证码' in title:driver = webdriver.Chrome()  # 调用chrome浏览器driver.maximize_window() #窗口最大化driver.get(url) #访问页面如 www.baidu.comtime.sleep(30)  #线程休眠30秒，防止一下打开太多谷歌浏览器driver.quit() #退出谷歌浏览器

IE,和火狐都感觉没有谷歌好，所以建议部署业务代码建议用谷歌

Python爬虫用（Python+Selenium）打开谷歌，IE，火狐浏览器，并访问网页相关推荐

python爬虫之初恋 selenium
selenium 是一个web应用测试工具,能够真正的模拟人去操作浏览器. 用她来爬数据比较直观,灵活,和传统的爬虫不同的是, 她真的是打开浏览器,输入表单,点击按钮,模拟登陆,获得数据,样样行.完全 ...
Python爬虫4.4 — selenium高级用法教程
Python爬虫4.4 - selenium高级用法教程综述 Headless Chrome 设置请求头设置代理IP 常用启动项参数options设置 Cookie操作 selenium设置coo ...
python爬虫代理和selenium
python爬虫代理和selenium 1.代理ip的使用 1.1 获取蘑菇代理中的代理ip def get_ip():response=requests.get('http://piping.mog ...
python爬虫百科-python爬虫百科
广告关闭腾讯云双11爆品提前享,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高满返5000元! 专业点来说就是应用多台机器同时实现爬虫任务,这多台机器上的爬虫,就是称作分布式爬虫 ...
python爬虫程序-Python网络爬虫实战(一)快速入门
本系列从零开始阐述如何编写Python网络爬虫,以及网络爬虫中容易遇到的问题,比如具有反爬,加密的网站,还有爬虫拿不到数据,以及登录验证等问题,会伴随大量网站的爬虫实战来进行. 我们编写网络爬虫最主要 ...
python selenium启动不了火狐浏览器（firefox）的解决办法
本文章转载深圳SEO_广东SEO网站优化建设 » python selenium启动不了火狐浏览器(firefox)的解决办法,仅供记录,以备学习. selenium3.0之前的版本,是可以直接打开火 ...
python爬虫原理-python学习之python爬虫原理
原标题:python学习之python爬虫原理今天我们要向大家详细解说python爬虫原理,什么是python爬虫,python爬虫工作的基本流程是什么等内容,希望对这正在进行python爬虫学习的 ...
python爬虫代码-Python爬虫入门(01) -- 10行代码实现一个爬虫
跟我学习Python爬虫系列开始啦.带你简单快速高效学习Python爬虫. 一.快速体验一个简单爬虫以抓取简书首页文章标题和链接为例简书首页就是以上红色框内文章的标签,和这个标题对应的url链接 ...
python爬虫代码-python网络爬虫源代码（可直接抓取图片）
在开始制作爬虫前,我们应该做好前期准备工作,找到要爬的网站,然后查看它的源代码我们这次爬豆瓣美女网站,网址为:用到的工具:pycharm,这是它的图标 ...博文来自:zhang740000的博客 P ...
python爬虫工程师-Python爬虫工程师
课程概况 3个月精通Python爬虫工程师核心技能. 从入门到进阶,知识点全覆盖,配套实战练习. 包含课程入门篇 Python编程环境配置及基础语法掌握Python基础语法及虫技能,利用Pytho ...

Python爬虫用（Python+Selenium）打开谷歌，IE，火狐浏览器，并访问网页

Python爬虫用（Python+Selenium）打开谷歌，IE，火狐浏览器，并访问网页相关推荐

最新文章

热门文章