记录一次反selenium爬虫经历

1.起因：使用selenium爬取某网站，第一次爬取成功了，时隔半个月在执行脚本发现翻页不好使，打开控制台发现几个错误，然后使用默认谷歌浏览器打开就没问题，猜想是反爬虫了。

2.解决方案：

options = webdriver.ChromeOptions()
#使用chrome开发者模式
options.add_argument("--disable-blink-features=AutomationControlled")
#禁用启用Blink运行时的功能
options.add_argument("--disable-blink-features=AutomationControlled")
#Selenium执行cdp命令
driver = webdriver.Chrome(options=options)driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {"source": """Object.defineProperty(navigator, 'webdriver', {get: () => undefined})"""})

按照如上设置再次执行脚本则可以继续访问了。

参考文献：selenium被识别的解决方法_HelloW先生的博客-CSDN博客_selenium爬虫被识别

记录一次反selenium爬虫经历相关推荐

【复】从0到1的 selenium 爬虫经历
文章目录前言简介与安装定义安装 selenium 库安装浏览器驱动程序测试 Selenium IDE 实战演练例一:下载图片例二:注册登录代理透明代理匿名代理高级匿名代理后记 ...
Linux 服务器配置selenium 爬虫
Linux 服务器配置使用代理 IP 的selenium 爬虫在 Linux 服务器运行爬虫有时可以取得奇效,但在 Linux 服务器环境(即无图形化界面)下配置爬虫环境.代理 IP 与常见的 ...
__init__在python中的用法知乎_python使用selenium爬虫知乎的方法示例
说起爬虫一般想到的情况是,使用 python 中都通过 requests 库获取网页内容,然后通过 beautifulSoup 进行筛选文档中的标签和内容.但是这样有个问题就是,容易被反扒机制所拦住. ...
反网络爬虫以及解决方案
做技术的或者是互联网行业的人可能都比较清楚,网络爬虫对于互联网的共享是非常大的,其中有超过一半的流量都是网络爬虫的贡献,如果一个网站不设置发爬虫机制,那就会成为一个透明的研究所一样,所有的信息都会公开 ...
如何隐藏 Selenium 爬虫？
点击上方蓝色小字,关注"涛哥聊Python" 重磅干货,第一时间送达作者 | kingname 来源 | 未闻Code 在昨天的公众号文章<别去送死了,Selenium 爬 ...
python selenium爬虫
python selenium爬虫 1 前言博主是一名经管研究生,以自身经历为例.如今大学生写论文大部分都需要数据支撑来论证研究结果,数据除了从数据库直接下载外,有些是需要通过网络爬虫来获得.网络爬 ...
【selenium爬虫】用selenium自动化爬虫爬取海贼王动漫图片
以下内容为本人原创,欢迎大家观看学习,禁止用于商业用途,转载请说明出处,谢谢合作! ·作者:@Yhen ·原文网站:CSDN ·原文链接:https://blog.csdn.net/Yhen1/art ...
python selenium爬虫实例_python使用selenium爬虫知乎的方法示例
说起爬虫一般想到的情况是,使用 python 中都通过 requests 库获取网页内容,然后通过 beautifulSoup 进行筛选文档中的标签和内容.但是这样有个问题就是,容易被反扒机制所拦住. ...
针对淘宝反selenium的反反爬措施详讲1-----pyautogui
现在某猫和某宝在反反selenium的道路上越越来恶毒了,大部分是检测webdriver的关键符(网上有很多介绍这里就不一一介绍了)当我们遇到反selenium那该怎么办??????????????? ...

记录一次反selenium爬虫经历

记录一次反selenium爬虫经历相关推荐

最新文章

热门文章