selenium反爬

使用selenium也会被网站反爬，有的网站甚至检测到是selenium时就会封禁ip，所以今天分享一下selenium的反爬。大多数网站识别selenium的方法是通过window.navigator.webdriver,它的作用是在用户打开浏览器时给当前窗口一个window属性来存放用户的各种信息，当我们使用selenium时值为true，正常用户访问网站时为false

所以要实现selenium的反爬就要去除window.navigator.webdriver，代码如下

from selenium.webdriver import ChromeOptions
from selenium import webdriver
# 实例化对象
option = ChromeOptions()
option.add_experimental_option('excludeSwitches',['enable-automation'])# 开启实验性功能
# 去除特征值
option.add_argument("--disable-blink-features=AutomationControlled")
# 实例化谷歌
driver = webdriver.Chrome(options=option)
# 修改get方法
script = '''object.defineProperty(navigator,'webdriver',{undefinedget: () => undefined})'''
#execute_cdp_cmd用来执行chrome开发这个工具命令
driver.execute_cdp_cmd("page.addscriptToEvaluateonNewDocument",{"source": script})

再次使用selenium会发现window.navigator.webdriver值为undefined，而且浏览器窗口也没有了正在使用自动化测试

selenium反爬相关推荐

selenium:反反爬拖动验证码
前言 springboot 2.0.0.RELEASE selenium-java 3.9.1 chromedriver win32 2.33 chrome 62.0.3202.94 你已经可以编写s ...
从入门到入土：Python爬虫学习|实例练手|爬取百度翻译|Selenium出击|绕过反爬机制|
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
Python爬虫技巧！网站有反爬？我们有selenium！
Selenium 是一个用于Web应用程序测试的工具.Selenium测试直接运行在浏览器中,就像真正的用户在操作一样. 文章最后有免费的Python资料,获取方式,关注头条号,私信回复资料获取下载链 ...
Python爬虫第二课 Selenium介绍和反爬技术
selenium的介绍知识点: 了解 selenium的工作原理了解 selenium以及chromedriver的安装掌握标签对象click点击以及send_keys输入 1. seleni ...
selenium成功绕过淘宝登录反爬机制！
userAgent 信息与正常模式不一致 Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Hea ...
selenium 成功绕过淘宝登录反爬机制
前言 selenium + webdriver 在登录淘宝时会出现反爬滑块,该滑块无论怎么滑也滑不成功,只会出现哎呀,出错了,点击刷新再来一次有两个问题存在,导致 selenium + webdr ...
快来学selenium初阶到高阶的使用,反爬的案例解析,google驱动的安装配置
文章目录 Google驱动的安装和selenium自动化的使用一.Google驱动的安装二.selenium自动化的初体验三.selenium元素的定位操作四.selenium页面交互方法五 ...
可能是全网唯一一个基于windows和java的关于selenium webDriver绕过网站反爬服务的方法
事情的起因是我需要用selenium的webDriver技术实现一些简单操作,一直用的是chrome和配套的webDriver(chrome的强大和轻量化真的是无敌的),但是突然有一天发现有些网站我用 ...
Python使用selenium过天眼查滑块验证码反爬实现模拟登录
Python使用selenium过天眼查滑块验证码反爬实现模拟登录天眼查的滑块验证码样式一顿操作到滑块验证码阶段破解滑块验证码结束天眼查的滑块验证码样式在输入账号和密码后会发现这个令人讨厌 ...
解决selenium + chromedriver模拟登录被淘宝反爬
解决selenium + chromedriver模拟登录被淘宝反爬问题使用 selenium + webdriver 模拟淘宝登录时,出现滑动验证码反爬,尝试程序模拟滑动滑块,以及在程序打开的 ...

selenium反爬

selenium反爬相关推荐

最新文章

热门文章