selenium | firefox代理设置

1.背景

因为公司需要爬去大量的信息，公司ip很快就被对方平台封了，因此果断选择selenium模拟登录，并设置代理。但我目前在网上找的解决方案都不行，貌似是selenium版本的问题。后来我通过阅读selenium官方文档，整理总结了selenium For Firefox的代理设置。

2.代码

def get_browser():proxies = get_proxy() # ip的获取，方式很多：adsl、代理ip...ip = re.findall('\d+\.\d+\.\d+\.\d+', proxies['http'])[0]port = re.findall(':(\d+)', proxies['http'])[0]print(proxies)socket = '%s:%s' % (ip, port)print('socket', socket)proxy = Proxy({'proxyType': ProxyType.MANUAL,'httpProxy': socket,'ftpProxy': socket,'sslProxy': socket,'noProxy': '',})profile = webdriver.FirefoxProfile()profile.set_proxy(proxy)browser = webdriver.Firefox(firefox_profile=profile)return browser

3.官方文档

selenium-api

selenium | firefox代理设置相关推荐

＂Selenium + Firefox＂如何使用带用户名密码认证的HTTP代理
本文原创作者:鲲之鹏(http://www.site-digger.com) 本文原始链接:http://www.site-digger.com/html/articles/20180822/662. ...
python3 selenium模块Chrome设置代理ip的实现
python3 selenium模块Chrome设置代理ip的实现 selenium模块Chrome设置代理ip的实现代码: from selenium import webdriver chrome ...
selenium火狐驱动_在Selenium Firefox驱动程序上运行测试
selenium火狐驱动带有Selenium 3.0的Gecko Marionette Firefox驱动程序 (Gecko Marionette Firefox Driver with Selen ...
Python爬虫进阶 - win和linux下selenium使用代理
目录 Windows selenium配置下载地址 Chrome Chromedriver 版本对应关系实践测试操作元素浏览器操作获取元素信息鼠标操作实战demo selenium添加代 ...
BurpSuite 代理设置的小技巧
转载之[安全客]https://www.anquanke.com/post/id/85925 在Web渗透测试过程中,BurpSuite是不可或缺的神器之一.BurpSuite的核心是代理Proxy, ...
【技术分享】BurpSuite 代理设置的小技巧
作者:三思之旅预估稿费:300RMB 投稿方式:发送邮件至linwei#360.cn,或登陆网页版在线投稿在Web渗透测试过程中,BurpSuite是不可或缺的神器之一.BurpSuite的核心是 ...
Fiddler环境配置/代理设置：电脑端/移动端/模拟器
1.电脑端代理设置:直接打开Fiddler,Fiddler会自动更改IE的代理设置,Chrome浏览器默认代理设置是跟IE关联的,所以不用配置Chrome.Firefox就需要自己手动更改代理. H ...
selenium使用代理IP
一.申请代理IP 如果一个用户对某个网站多次的访问,有可能会被识别为爬虫,因而限制其客户端 ip 的访问,对于一些比较正规的网站,反爬系统很强,最容易出现这种情况,所以有时候有必要使用代理IP,我一般 ...
Selenium+Firefox/Chrome及驱动的安装和使用
Selenium+Firefox/Chrome及驱动的安装和使用教程 Selenium+Firefox/Chrome安装及使用教程安装环境: win10 x64 pyscripter 2018.3. ...

selenium | firefox代理设置

1.背景

2.代码

3.官方文档

selenium | firefox代理设置相关推荐

最新文章

热门文章