Selenium 反反爬检测方案（利用js隐藏浏览器特征）

本文仅供学习交流使用，如侵立删！demo下载见文末

之前我们提到目前网上的反检测方法几乎都是掩耳盗铃，因为模拟浏览器有几十个特征可以被检测，仅仅隐藏 webdriver 这一个值是没有任何意义的。
解决这个问题的关键，就是一个 js 文件，叫做stealth.min.js

stealth.min.js文件生成
这个stealth.min.js文件是怎么来的呢？这就要说到puppeteer了。我们知道，Python 版本的pyppeteer已经很久没有人维护了，但是Node.js 版本的 puppeteer持续有人维护，并且在持续更新，生态也越来越好。
有开发者给 puppeteer 写了一套插件，叫做puppeteer-extra。其中，就有一个插件叫做puppeteer-extra-plugin-stealth[1]。这个东西，就来专门用来让 puppeteer 隐藏模拟浏览器的指纹特征。
这个东西是专门给 puppeteer 用的。所以，如果你使用的是 puppeteer，那么你可以根据它的 Readme说明，直接使用。
那么，我们用 Python 的人怎么办呢？实际上也有办法。就是把其中的隐藏特征的脚本提取出来，做成一个单独的 js 文件。然后让 Selenium 或者 Pyppeteer 在打开任意网页之前，先运行一下这个 js 文件里面的内容。
puppeteer-extra-plugin-stealth的作者还写了另外一个工具，叫做extract-stealth-evasions[2]。这个东西就是用来生成stealth.min.js文件的。

Selenium 反反爬检测方案（利用js隐藏浏览器特征）相关推荐

python +selenium+phantomjs 登录爬取新浪微博动态js页面
登录新浪微博最近新浪微博好烦,都取消不了验证码这个难搞得东西,而且跳来跳去,一改版以前的代码就都不能用了.目前整理的资料有三种方法: 1. 设Cookie:简单粗暴,免去了模拟登录的好多麻烦,只是要 ...
针对淘宝反selenium的反反爬措施详讲1-----pyautogui
现在某猫和某宝在反反selenium的道路上越越来恶毒了,大部分是检测webdriver的关键符(网上有很多介绍这里就不一一介绍了)当我们遇到反selenium那该怎么办??????????????? ...
已解决selenium框架接管已经打开的谷歌浏览器（Python反反爬教程，亲测有效）
已解决selenium框架接管已经打开的谷歌浏览器(Python反反爬教程,亲测有效) 文章目录问题描述解决方法千人全栈VIP答疑群联系博主帮忙解决报错问题描述使用selenium自动化测试 ...
selenium:反反爬拖动验证码
前言 springboot 2.0.0.RELEASE selenium-java 3.9.1 chromedriver win32 2.33 chrome 62.0.3202.94 你已经可以编写s ...
【待继续研究】如何运用机器学习技术构建可行的反欺诈检测方案？
反欺诈方向的实际应用很多,我有做过保险业反欺诈和零售快消业的欺诈检测,抛砖引玉的谈谈反欺诈项目的"道"和"术". 1.背景 - 为什么反欺诈检测难度很高? 反欺 ...
反爬终极方案总结---字体反爬
最近临时受命,要针对采集我司网站的爬虫进行反制.虽然不太熟悉这个领域,但既然分到咱这儿了,那就上呗,有啥说的,谁让咱是"全栈工程师"呢(牛逼吹的大了点). 原本公司已经有了一套字体 ...
selenium网络爬虫去哪儿机票利用performance获取日志截获加载的xhr，ajax，js等数据
这次练习获取的网站使用了许多反爬技术: 1.html页面使用了css字体偏移 2.xhr加载有webdriver反爬检测 3.请求接口使用了多项加密参数以及cookie验证 4.部分js代码用了ob混 ...
python爬虫反爬 css 知乎专栏_反反爬虫系列(四)
过完年,好了,咱们接着更新反反爬虫系列至于之前有朋友表示出一下1688呀,x宝的反反爬虫说实在的,阿里系的反爬虫很厉害,我自愧不能搞定. 比如x宝的登录,用了selenium + chrome的朋 ...
某Boss招聘网站的反反爬机制详解
近日出于学习的目的对某Boss网站的反爬机制进行了分析和逆向,终于完全搞定了,记录总结下方便日后学习! 本代码请仅用于纯技术研究的用途,请勿用于商业用途或非法用途,如果因使用者非法使用造成的法律 ...

Selenium 反反爬检测方案（利用js隐藏浏览器特征）

Selenium 反反爬检测方案（利用js隐藏浏览器特征）相关推荐

最新文章

热门文章