反爬终极方案总结---字体反爬
最近临时受命,要针对采集我司网站的爬虫进行反制。虽然不太熟悉这个领域,但既然分到咱这儿了,那就上呗,有啥说的,谁让咱是“全栈工程师”呢(牛逼吹的大了点)。
原本公司已经有了一套字体反爬的机制,但效果还是不很理想。花了一周的时间进行研究,最终在现有反爬基础之上,总结了本文要讲的方案。
说是终极方案,是有些吹牛了,大家都知道爬虫和反爬之家的道高一尺魔高一丈的关系。但这个方案可以很大程度上可以增加普通爬虫的采集成本,在不使用OCR的前提下,算是比较极致的方案了。
直接说重点吧!
1、扫盲:
字体反爬也就是自定义字体反爬,通过调用自定义的ttf文件来渲染网页中的文字,而网页中的文字不再是文字,而是相应的字体编码,通过复制或者简单的采集是无法采集到编码后的文字内容!
上图吧:
源码截图
页面展示效果
如图上面图片所看到的,爬虫是无法采集到编码后的文字内容,貌似起到了防爬的效果,呵呵,事实上这个只能防到简单的爬虫。一会我们再继续讲更深一层的防爬机制。
2、思路设计
讲到这里,细心的人会问,为什么不把所有的内容都替换成编码呢?这个就涉及到加载和渲染速度的问题。
我们知道,单纯汉字就有好几千个,如果全部放到自定义字体库中的话,这个文件会有灰常大,几十兆是肯定有的了,那后果啥样就很清楚了,加载肯定很慢,更糟糕的是如此之多的字体需要浏览器去渲染,那效果,OMG!(产品、运营愤怒的小拳头扑面而来)
好吧,这个时候就提现出我们高级程序的价值所在了(嗯、嗯,清清嗓子)。
为了解决这个问题,我们可以选择只渲染少量的、部分的文字,假设50个字,那么字体库就会小到几十K了,相当于一个小图片而已,加上CDN加速之类的,欧耶,解决了。
如此简单?No、No,表着急,童鞋。50个字儿呢可不是随便随便选择的,要选择那些爬虫采集不到就会很大改变整个语句的语义的词,直接点吧,也就是量词、否定词之类的。如原文“我有一头小毛驴,我从来都不骑”,我们把其中的“一”、“不”放到我们的自定义字库中,这样一来,爬虫采集到的就是“我有头小毛驴,我从来都骑”,OMG,这结果完美。嘿嘿,如果加上阿拉伯数字就更完美了,“猎豹以时速公里/小时的速度奔跑在非洲的大草原上”,同学,请问时速多少来着?哈哈哈,好爽.......
3、PK升级
“老李、老李,不行了,不行了。”运营扯着脖子喊到。
“什么玩意不行了,说清楚,一惊一乍的!”
“反爬、反爬不行了,数据被人采到了!”运营气喘吁吁的.....
哎妈呀,貌似方案挺完美的喽,怎么就轻易被爬虫采集到了呢?
Why?Fuck,还没开心一分钟呢,就被狠狠打脸了,怎么回事呢?
貌似自定义字体已经不能被采集到了,但事实可没这么简单呀,要知道,反爬工程师面对的可是N多个大牛群殴的状态,什么神箭手、Gooseeker,随便一个都是谷歌工程师出身的(买糕的,还让人活不啦)。
来,看看他们是怎么破的。
思路很简单,通过fonttools(python工具)将ttf文件转成ttx文件打开后,什么都明白了!
ttx代码
看到了吗,ed12的编码就是“是”字的unicode编码,这样一来,爬虫只要把采集到""直接替换成“是”字就可以了,以此类推,然后,没有然后了,啥都被采集到了,白忙了半天(我艹%#*%$##%^_+!>.........)。
这可如何是好呢?表急,办法总是有的!
如果让“是”字的编码随机变化,但字体信息不变,浏览器渲染出来还是“是”字那不就完美了,哎妈呀,太聪明了,对就这样干。
于是,每个网页加载的时候,都随机加载了一套字体库,字体库的内容还是50个字,但每个字的顺序编码都是变化的,爬虫也就无法用直接替换的方式进行采集了。
4、PK再次升级
“老李、老李,不行了,不行了。”运营又扯着脖子喊着。(我tmd真想掐死他)
“说,咋了!”
“反爬、反爬又不行了,又被人采到了!”运营无奈的看着我.....
好吧,兵来将挡水来土掩,还能咋滴,先看看情况再说。
原来,还是跟ttx有关,虽然我们打乱了关键字的编码顺序,但是每个字对应的字体信息是不变的,例如,“是”字一共有9划,每一笔划都有相应的x、y坐标信息,浏览器正是根据这些笔划信息渲染出对应的字的,看图:
爬虫工程师先手动下载了一个ttf文件,然后根据ttf文件中的文字图形位置再爬虫代码中做一个映射,然后使用程序动态获取到采集的每一篇文章,使用fonttools来循环对比本地之前下载的标本中的字体信息,对比一直,那就是某一个字,如此一来,反爬就轻松被破了。
细节可参考下面文章,我就不啰嗦了!
Python爬虫杂记 - 字体文件反爬(二)www.jianshu.com
那怎么办呢?只要肯用心,方法总比困难多呀!
既然你对比字体信息,ok,那我就把字型的信息给你随机了,让字变形,这样你就无法对比了,欧耶。看下变形后的图片:
变形后的字体,即便是下载了当前文章的字库,也需要手动去做字体和字的映射,那么多文章呢,手工匹配,显然是不可能的了。事实上,我们准备了几千套的字体,用于应对爬虫的采集,每次刷新文章,字体库就会更换,每篇文章的字体库都不一样,但是替换的文字都是一样的,这样以来,爬虫采集的难度就越来越高了。
反爬本来就是不归路,没有终点,有反爬就有反反爬;
最好的方案,就是让爬虫采集的成本不断增加,直到放弃,那么反爬也就算那是成功了。
至此,字体反爬策略已经基本达到了顶峰。
那么,这是终点吗?是终极方案吗?
OCR一脸奸笑的走来........
备注:
关于这个方案具体业务代码涉及公司利益,就不公布了。而反反爬的文章网上已经挺多了,就不罗列了!
大概思路:基于微软雅黑字库信息,抽取其中的关键字的字体信息,然后随机生成上千套字库,同时做好字与编码和字库文件的mapping关系,持久化到数据库,然后文章显示时随机从库中查询出一套字库,并把文章中的关键字替换成Unicode编码,over!
反爬终极方案总结---字体反爬相关推荐
- 爬虫笔记41之反爬系列四:字体反爬、JS反爬
一.字体反爬 1.什么是字体反爬? 开发者创作了一种字体(字体代号):网页中显示的就是这种字体代号. 字体反爬也叫CSS反爬,就是因为这个字体是隐藏在我们css文件当中的一个.ttf文件. 2.如何 ...
- 爬取起点中文网字体反爬取
参考文章:https://www.jianshu.com/p/fbc99cf4d557 个人比较喜欢看小说,于是乎想爬取小说网站--起点中文网,在爬取定位过程中遇到了反爬取,咨询了我旁边的前端大神,说 ...
- python可以爬取58同城代码_爬取58同城—字体反爬
我爬取的是58同城北京租房的索引页. url:https://bj.58.com/chuzu/?PGTID=0d100000-0000-1e00-4039-99b26a4fedeb&Click ...
- python爬取大众点评字体_python爬取大众点评解决字体反爬
今天我们弄一下大众点评 学习阶段,我们要抱着学习的目的 重点是思路,做爬虫就不要想着一劳永逸了 方法公开,人家就换了 知识是你自己的,学到了,他换不掉 好了,我们开始吧 网站展示 https://ww ...
- 爬取在线全面小说网小说(字体反爬)
小说网字体反爬 小说网址:https://www.tianhuajinshu.com/ 在手机端浏览小说时,有时候开启无图模式发现部分文字加载不出来,还有的不能使用浏览自带的阅读模式进行阅读,也就是无 ...
- 爬虫进阶-- 字体反爬终极解析
爬取一些网站的信息时,偶尔会碰到这样一种情况:网页浏览显示是正常的,用python爬取下来是乱码,F12用开发者模式查看网页源代码也是乱码.这种一般是网站设置了字体反爬 什么是字体反爬? 字体反爬虫: ...
- 斗鱼关注人数爬取 | 字体反爬的攻与防
作者:CJ Ting 原文:https://cjting.me/2020/07/01/douyu-crawler-and-font-anti-crawling/ 之前因为业务原因需要爬取一批斗鱼主播的 ...
- 爬虫 某全国律师执业诚信信息公示平台 DES加密+中文字体反爬
某全国律师执业诚信信息公示平台 DES加密+中文字体反爬 目标网站:aHR0cHM6Ly9jcmVkaXQuYWNsYS5vcmcuY24v 无限debugger DES加密 中文字体反爬 目标网站: ...
- 斗鱼关注人数爬取 ── 字体反爬的攻与防
之前因为业务原因需要爬取一批斗鱼主播的相关数据,在这过程中我发现斗鱼使用了一种很有意思的反爬技术,字体反爬. 打开任何一个斗鱼主播的直播间,例如 这个主播,他的关注人数数据显示在右上角: 斗鱼在关注数 ...
最新文章
- String indexOf 算法
- poj 3007 Organize Your Train part II (哈希)
- dede 怎样调用其它栏目的文章或者缩略图列表且有分页效果?
- 服务器电源can协议,硬件接口协议之“CAN总线EMC设计”
- matlab产生ofdm信号,Matlab 完成简单的OFDM 信号的产生与解调程序.pdf
- 大牛唐健,带你领略游戏服务器与后台架构的奥妙
- QT简介及QT环境搭建
- Taro+react开发(45)taro中组件生命周期
- 转载:一步一步和我学Apache JMeter
- vantabs多页渲染_选择引擎渲染页面
- QuickFlowDesigner教程(4)如何用代码控制活动操作人
- php 跨域问题解决方案
- 矩阵连乘问题算法思想_动态规划之矩阵连乘问题
- Duality对偶学习笔记(第一课时)
- 豆粕5连跌四月季节性偏弱,铁矿石认购翻倍,甲醇05-09季节性反套2022.3.30
- 【附代码实现】光流法大全(DeepFlow、DenseFlow、DisFlow、FbFlow、PCAFlow、SimpleFlow、TV_L1)
- 基于snmp 交换机监控系统实现
- 微信小程序——比较数字大小案例
- 输入字符串判断有多少个字母,数字和其他
- 查看树莓派3 WiFi连接速度
热门文章
- python端口被占用_端口被占用怎么解决
- Concurrent——Atomic原子操作类
- MySQL + springboot修改时区的方法小结
- ActiveMQ的自定义安全插件(十)
- 正式突破两千粉丝!开心!
- cad线加粗怎么设置_原来CAD的线条还可以这样加粗!还能修改初始单位!太实用了...
- java枚举新特性_java回顾之枚举和新特性
- Java ExecutorService 线程池
- aso优化师是什么_2019最新ASO优化常见问题精选(下)
- opencv轻松入门面向python下载_OpenCV轻松入门:面向Python