关于捷星的反爬虫及sensor_data参数的心得分享
啃过很多难啃的骨头，没想到居然还有这么难啃的骨头。
研究了这网站许久，换了无数种思路，都失败而终。
下面就将把我踩过的坑，一一道来。
花了几天，把JS全部读完，将所有方法全部翻译。
JS里面，有效验鼠标轨迹点击事件的方法，有检测Selenium等自动化工具的方法，有检测无头浏览器的方法，有效验浏览器内核与UA信息是否匹配的方法（通过浏览器JS支持的特有属性方法检测），有获取浏览器指纹的方法（帆布指纹+插件信息+内核信息+局域网IP+是否支持媒体流等浏览器支持功能的组合），最后还有时间效验，这里所说的时间效验是指的每个方法互相调用的时间差及两次ajax请求的时间差，记忆模糊，暂时只能记起这么多。
上面说了一大堆的效验方法，是不是感觉已经很头疼了？
没错，所以我将sensor_data参数复制下来，简单粗暴的改了里面几个关键值（通过原JS直接运算的），你以为能成功？
哈哈哈，也就只能撑十几分钟摆了，长期大规模的请求肯定GG，网上所谓的破解文章，也仅做到此步就止步了。
我继续尝试，HOOK浏览器请求，强行随机（通过原JS）改变浏览器指纹，进行sensor_data值的计算，并POST请求，通过这种尝试，一个sensor_data生成的多个CK可以一共跑20分钟左右，然后封10-30分钟，但跑了几个小时，一样也挂了，无论怎样换指纹，换参数也无济于事。
不撞南墙不回头的我，继续研究，这下可好，发现一直研究的sensor_data的加密请求，原来只是冰山一角，因为我发现了一共三家企业的相关部署文件，分别是国外某CDN服务商做的反爬系统（sensor_data也就这家的杰作，后台有AI数据分析），国外某设计软件的扛把子公司做的用户行为分析系统，国外某搜索引擎做的验证系统，加上sensor_data的算法几乎是每月一更新，头顶顿时一股凉意。
事已至此，并未放弃，未完，待续。
关于捷星的反爬虫及sensor_data参数的心得分享相关推荐
- python填写问卷星_使用Python自动填写问卷星(pyppeteer反爬虫版)
from selenium importwebdriverimporttimeimportrandomdefrun(): browser=webdriver.Chrome() browser.get( ...
- 【Python3爬虫】常见反爬虫措施及解决办法（二）...
[Python3爬虫]常见反爬虫措施及解决办法(二) 这一篇博客,还是接着说那些常见的反爬虫措施以及我们的解决办法.同样的,如果对你有帮助的话,麻烦点一下推荐啦. 一.防盗链 这次我遇到的防盗链,除了 ...
- 如何利用 C# + Python 破解猫眼电影的反爬虫机制？
在 如何利用 C# 爬取「猫眼电影:最受期待榜」及对应影片信息! 这篇图文中可以看到猫眼电影对"本月新增想看人数" 和 "总想看人数"进行了字符集加密. 在 如 ...
- WebDriver 识别反爬虫的原理和破解方法~
作者|志斌 来源|python笔记 有时候我们在爬取动态网页的时候,会借助渲染工具来进行爬取,这个"借助"实际上就是通过使用相应的浏览器驱动(即WebDriver)向浏览器发出命令 ...
- 大佬带你详解Python反爬虫措施以及爬虫编写注意事项
Python爬虫开发:反爬虫措施以及爬虫编写注意事项 反爬虫的几重措施 1.IP限制 如果是个人编写的爬虫,IP可能是固定的,那么发现某个IP请求过于频繁并且短时间内访问大量的页面,有爬虫的嫌疑,作为 ...
- java 反爬虫_springboot反爬虫组件kk-anti-reptile的使用方法
大家好,我是为广大程序员兄弟操碎了心的小编,每天推荐一个小工具/源码,装满你的收藏夹,每天分享一个小技巧,让你轻松节省开发效率,实现不加班不熬夜不掉头发,是我的目标! 今天小编推荐一款反爬虫组件叫kk ...
- 如何设计一款地震高岗一派溪山千古秀的反爬虫？
天地会 青木堂 地震高岗,一派溪山千古秀 门朝大海,三河合水万年流 没错,这正是<鹿鼎记>天地会的接头暗号. 天地会为什么需要接头暗号呢? 假设天地会赤火堂香主派人从京城前扬州将一封非常重 ...
- 如何设计一款暗度陈仓的反爬虫
本文授权转载自搜狐技术产品,特此感谢. 明修栈道.暗渡陈仓是一组出自<史记·淮阴侯列传>的成语,指将真实的意图隐藏在表面行动的背后,用明显的行动迷惑对方,使敌产生错觉,从而忽略我方的真实意 ...
- html中::before 爬虫_反反爬虫系列(四)
过完年,好了,咱们接着更新反反爬虫系列 至于之前有朋友表示出一下1688呀,x宝的反反爬虫 说实在的,阿里系的反爬虫很厉害,我自愧不能搞定. 比如x宝的登录,用了selenium + chrome的朋 ...
最新文章
- Go在windows10 64位上安装过程
- redis开启远程连接
- 【是泰波那契，不是斐波那契】1137. 第 N 个泰波那契数
- Linux 文件查找命令
- java String 转boolean
- scanf读取字符_在C语言中使用scanf（）读取整数时跳过字符
- webpack打包缓存_webpack独立打包与缓存处理
- 网络、通信术语及概念
- 基于JAVA+SpringMVC+Mybatis+MYSQL的汽车租赁系统
- Java实例---flappy-bird实例[最终版]
- python不可以安装的软件包_安装好的python包竟然无法import
- Android MPush开源消息推送系统：简洁、安全、支持集群
- maikr博客伴侣全新发布,支持博客备份和博客搬家
- 利用Xmarks进行Chrome和Safari书签的同步
- 最新UE下载地址和可使用注册码(公布)
- 干货满满 | 不容错过的数据科学入门数学指南
- java作业 实现模拟保皇开始的发牌环节
- Android Studio 中文社区
- 进程间通信之面包师问题
- 转自：如何自学Android（强烈推荐）