常见的反爬手段和解决思路
1.明确反反爬的主要思路
反反爬的主要思路就是:尽可能的去模拟浏览器,浏览器在如何操作,代码中就如何去实现。
例如:浏览器先请求了地址url1,保留了cookie在本地,之后请求地址url2,带上了之前的cookie,代码中也可以这样去实现。
2.通过headers字段来反爬
headers中有很多字段,这些字段都有可能会被对方服务器拿过来进行判断是否为爬虫
2.1 通过headers中的User-Agent字段来反爬
- 反爬原理:爬虫默认情况下没有User-Agent
- 解决方法:请求之前添加User-Agent即可;更好的方式是使用User-Agent池来解决(收集一堆User-Agent的方式,或者是随机生成User-Agent)
import randomdef get_ua():first_num = random.randint(55, 62)third_num = random.randint(0, 3200)fourth_num = random.randint(0, 140)os_type = ['(Windows NT 6.1; WOW64)', '(Windows NT 10.0; WOW64)', '(X11; Linux x86_64)','(Macintosh; Intel Mac OS X 10_12_6)']chrome_version = 'Chrome/{}.0.{}.{}'.format(first_num, third_num, fourth_num)ua = ' '.join(['Mozilla/5.0', random.choice(os_type), 'AppleWebKit/537.36','(KHTML, like Gecko)', chrome_version, 'Safari/537.36'])return ua
2.2 通过referer字段或者是其他字段来反爬
- 反爬原理:爬虫默认情况下不会带上referer字段
- 解决方法:添加referer字段
2.3 通过cookie来反爬
- 如果目标网站不需要登录 每次请求带上前一次返回的cookie,比如requests模块的session 如果目标网站需要登录
- 准备多个账号,通过一个程序获取账号对应的cookie,组成cookie池,其他程序使用这些cookie
3.通过js来反爬
普通的爬虫默认情况下无法执行js,获取js执行之后的结果,所以很多时候对方服务器会通过js的技术实现反爬
3.1 通过js实现跳转来反爬
- 反爬原理:js实现页面跳转,肉眼不可见
- 解决方法: 在chrome中点击perserve log按钮实现观察页面跳转情况。在这些请求中,如果请求数量很多,一般来讲,只有那些response中带cookie字段的请求是有用的,意味着通过这个请求,对方服务器有设置cookie到本地
3.2 通过js生成了请求参数
- 反爬原理:js生成了请求参数
- 解决方法:分析js,观察加密的实现过程,通过js2py获取js的执行结果,或者使用selenium来实现
3.3 通过js实现了数据的加密
- 反爬原理:js实现了数据的加密
- 解决方法:分析js,观察加密的实现过程,通过js2py获取js的执行结果,或者使用selenium来实现
4.通过验证码来反爬
- 反爬原理:对方服务器通过弹出验证码强制验证用户浏览行为
- 解决方法:打码平台或者是机器学习的方法识别验证码,其中打码平台廉价易用,更值得推荐
5.通过ip地址来反爬
- 反爬原理:正常浏览器请求网站,速度不会太快,同一个ip大量请求了对方服务器,有更大的可能性会被识别为爬虫
- 解决方法:对应的通过购买高质量的ip的方式能够解决问题
6.通过用户行为来反爬
- 反爬原理:通过浏览器请求数据,很多用户行为会在浏览器中是很容易实现或者无法实现.比如浏览器请求额外的图片地址,服务端进行记录,出现意味着不是爬虫(爬虫中不会主动请求图片)
- 解决方法:通过获取数据的情况来观察请求,寻找异常出现的可能请求
7.其他的反爬方式
7.1 通过自定义字体来反爬
下图来自猫眼电影电脑版
解决思路:切换到手机版
7.2 通过css来反爬
下图来自猫眼去哪儿电脑版
解决思路:计算css的偏移
常见的反爬手段和解决思路相关推荐
- Python 常见的反爬手段和解决思路
学习目标: 1.了解 服务器反爬的原因: 2.了解 服务器常反什么样的爬虫: 3.了解 反爬虫领域常见的一些概念: 4.了解 反爬的三个方向: 5.了解 常见基于身份识别进行反爬: 6.了解 常见基于 ...
- 爬虫之常见的反爬手段和解决思路
1 服务器反爬的原因 爬虫占总PV(PV是指页面的访问次数,每打开或刷新一次页面,就算做一个pv)比例较高,这样浪费钱(尤其是三月份爬虫). 三月份爬虫是个什么概念呢?每年的三月份我们会迎接一次爬虫高 ...
- python网络爬虫系列(八)——常见的反爬手段和解决方法
常见的反爬手段和解决思路 学习目标 了解 服务器反爬的原因 了解 服务器常反什么样的爬虫 了解 反爬虫领域常见的一些概念 了解 反爬的三个方向 了解 常见基于身份识别进行反爬 了解 常见基于爬虫行为进 ...
- 【爬虫进阶】常见的反爬手段和解决方法(建议收藏)
爬虫进阶:常见的反爬手段和解决思路 1 服务器反爬的原因 2 服务器常反什么样的爬虫 3 反爬虫领域常见的一些概念 4 反爬的三个方向 5 常见基于身份识别进行反爬 5.1 通过headers字段来反 ...
- 爬虫中常见的反爬手段和解决方法
每日分享: 欲成大树,莫与草争:将军有剑,不斩草蝇:遇烂入及时止损,遇烂事及时抽身.格局小的人喜欢诋毁和嫉妒,因为我不好,我也不想让你好.格局大的人都懂得一个道理,强者互帮,弱者互撕.人性最大的愚蠢就 ...
- Python | 常见的反爬及解决方法,值得收藏
我们都知道Python用来爬数据,为了不让自家的数据被别人随意的爬走,你知道怎么反爬吗?今天播妞带着大家一起见识见识常见的反爬技术. 很多人学习python,不知道从何学起. 很多人学习python, ...
- k 近邻算法解决字体反爬手段|效果非常好
字体反爬,是一种利用 CSS 特性和浏览器渲染规则实现的反爬虫手段.其高明之处在于,就算借助(Selenium 套件.Puppeteer 和 Splash)等渲染工具也无法拿到真实的文字内容. 这种反 ...
- 一些简单常见的网站反爬策略和解决办法
目录 1.User-Agent(请求头header中的一个属性) 2.IP(IP地址是指互联网协议地址) 3.Cookie(储存在用户本地终端上的数据),对简单的一些cookie反爬进行说明 4.po ...
- Python常见的反爬及解决方法,值得收藏
我们都知道Python用来爬数据,为了不让自家的数据被别人随意的爬走,你知道怎么反爬吗?今天播妞带着大家一起见识见识常见的反爬技术. 首先我们来看一下爬虫程序和反爬虫之间的一张逻辑图: 以下说4种网站 ...
最新文章
- pdf一键转曲_新技能:如何利用PDF制作可变数据!
- 说说消息队列RocketMQ版ConsumeTimeout的含义是什么
- pdf转word python_【python】python实现PDF转word
- 3 Useful BookmarkLets for Debugging
- Redis高级特性及优化
- python编程能力等级测试_青少年编程能力等级测评-Python编程二级试卷
- UVa 11475 - Extend to Palindrome
- 机器学习算法之线性回归
- 有没有比python更简单的语言排名_编程语言4种更快更简单实现Python数据可视化的方法...
- [课堂实践与项目]IOS优先级的计算器
- Discuz 3x重新声明内置函数$解决jQuery冲突
- 电商入门_仓库管理系统wms
- html英雄联盟网页,Html+Css+JQuery实现简易英雄联盟官网
- 接收灵敏度dbm与W
- 冰冻三尺非一日之寒之产品观
- PCL Visualizer可视化类
- 《一封来自日本的信——2018年日本社会和生活水平现状》 摘要
- Linux系统上没有scp命令,Linux scp命令没反应
- scrapy爬虫没有任何的返回数据( Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min))
- django连接sqlserver的一些坑
热门文章
- Oracle之SQL分析函数
- linux多线程 消费者,linux c 多线程 生产者-消费者二
- java i o流异常问题_第四章 Java的I/O流和异常处理
- 中文问好_直击/泷泽秀明秘访台!Hey! Say! JUMP也来了 亲切秀中文问好
- 【报错笔记】关于tomcat启动不了,闪退问题。
- DBCP针对不同数据库的validationQuery
- 微信小程序------MD5加密(支持中文和不支持中文)和网络请求(get和post)
- webservice linux 杀进程
- CRC-16校验C#代码
- 怎么把系统中的桌面文件夹放到别的盘里