网站有反爬机制就爬不了数据?那是你不会【反】反爬!道高一尺魔高一丈啊!
不知道你们在用爬虫爬数据的时候是否有发现,越来越多的网站都有自己的反爬机制,抓取数据已经不像以前那么容易,目前常见的反爬机制主要有以下几种:
- 数据是通过动态加载的,比如微博,今日头条,b站
- 需要登录,需要验证码,比如铁路12306,淘宝,京东
- 请求次数频繁,IP地址在同一时间访问次数过多,导致IP被封
- 数据屏蔽方式,比如访问的数据不在源码中,数据隐藏在js中,比如今日分享,b站
网站为什么要设置反爬机制?有两个原因,一是为了保护网站安全,减轻服务器压力,另一个原因则是保护网站数据安全。
爬虫技术者与反爬技术者一直以来就像是左右手互博,你有反爬机制,我就有反反爬技术,即见即可爬,道高一尺魔高一丈。
今天就为大家详细介绍网站的反爬虫机制和实用的应对方法,一般网站从三个方面反爬虫:
1.用户请求的Headers
2.用户行为
3.网站目录和数据加载方式
前两种比较容易遇到,大多数网站都从这些角度来反爬虫。第三种一些应用ajax的网站会采用,这样增大了爬取的难度(防止静态爬虫使用ajax技术动态加载页面)。
1、从用户请求的Headers反爬虫。
这种是最常见的反爬机制,在访问某些网站的时候,网站通常会用判断访问是否带有头文件来鉴别该访问是否为爬虫,用来作为反爬取的一种策略。
那我们就需要伪装headers。很多网站都会对Headers的User-Agent进行检测,还有一部分网站会对Referer进行检测(一些资源网站的防盗链就是检测Referer)。
如果遇到了这类反爬虫机制,可以直接在爬虫中添加Headers,将浏览器的User-Agent复制到爬虫的Headers中;或者将Referer值修改为目标网站域名。
往往容易被忽略,通过对请求的抓包分析,确定referer,在程序中模拟访问请求头中添加。
对于检测Headers的反爬虫,在爬虫中修改或者添加Headers就能很好的绕过。
例如打开搜狐首页,先来看一下Chrome的头信息(F12打开开发者模式)如下:
如图,访问头信息中显示了浏览器以及系统的信息(headers所含信息众多,其中User-Agent就是用户浏览器身份的一种标识,具体可自行查询)
Python中urllib中的request模块提供了模拟浏览器访问的功能,代码如下:
from urllib import request url = http://www. baidu.com
# page= requestRequest (url)
# page add header (' User-Agent',' Mozilla/5.0(Windows NT 10.0; Win64; x64) AppleWebki
headers ={'User-Agent': ' Mozilla/5.0(Windows NT 10.0; Win64; x64) AppleWebkit/537. 36'}
page = request Request(url, headersheaders)
page_info = request urlopen(page). read().decode('utf-8')
print(page_info)
可以通过add_header(key, value)
或者直接以参数的形式和URL一起请求访问
urllib.request Request()
urllib.request Request(url, data=None, headers={}, origin req host=None, unverifiable )
其中headers是一个字典,通过这种方式可以将爬虫模拟成浏览器对网站进行访问。
2、基于用户行为反爬虫
还有一部分网站是通过检测用户行为,例如同一IP短时间内多次访问同一页面,或者同一账户短时间内多次进行相同操作。
这种防爬,需要有足够多的ip来应对。
(1)大多数网站都是前一种情况,对于这种情况,使用IP代理就可以解决。可以专门写一个爬虫,爬取网上公开的代理ip,检测后全部保存起来。有了大量代理ip后可以每请求几次更换一个ip,这在requests或者urllib中很容易做到,这样就能很容易的绕过第一种反爬虫。
编写爬虫代理:
步骤:
1.参数是一个字典{‘类型’:‘代理ip:端口号’}
proxy_support=urllib.request.ProxyHandler({})
2.定制、创建一个opener
opener=urllib.request.build_opener(proxy_support)
3.安装opener
urllib.request.install_opener(opener)
4.调用opener
opener.open(url)
用大量代理随机请求目标网站,应对反爬虫
import urllib request
import random
import reurl='http://www. whatismyip. com. tw '
iplist=['121.193.143.249:88',"112.126.65.193:88',122.96.59.184:82',115.29.98.139:9]proxy_support = urllib. request Proxyhandler({'httP': random choice(iplist)})
opener = urllib.request.build_opener(proxy_suppor)
opener.addheaders=[(' User-Agent, ' Mozilla/5.0(X11; Linux x86-64) AppleWebkit/537.36'
urllib.request.install_opener(opener)
response = urllib.request.urlopen(url)
html = response.read().decode(' utf-8)pattern = re.compile('<h1>(.*?)</h1>.*?<h2>(,*?)</h2>')
iterms=re.findall(pattern, html)for item in iterms:print(item[0]+:"+item[1])
(2)对于第二种情况,可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网站,可以通过请求几次,退出登录,重新登录,继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。
对于账户做防爬限制,一般难以应对,随机几秒请求也往往可能被封,如果能有多个账户,切换使用,效果更佳。
3、动态页面的反爬虫
上述的几种情况大多都是出现在静态页面,还有一部分网站,我们需要爬取的数据是通过ajax请求得到,或者通过Java生成的。
解决方案:Selenium+PhantomJS
Selenium:自动化web测试解决方案,完全模拟真实的浏览器环境,完全模拟基本上所有的用户操作
PhantomJS :一个没有图形界面的浏览器
比如获取淘宝的个人详情地址:
from selenium import webdriver
import time
import re drive = webdriver.PhantomJs(executable_path = ' phantomjs-21.1-linux-x86 64/bin/phanto drive.get('https://mm. taobaocom/self/modelinfohtm? userid=189942305& iscoment=fal)time. sleep(5)pattern = re.compile(r'<div. *? mm-p-domain-info>*? class="mm-p-info-cell clearfix">.
html = drive.page_source.encode(' utf-8,' ignore')
items=re.findall(pattern, html)
for item in items:print(item[0], 'http':+item[1])
drive.close()
4.总结
最后给大家总结一下前面所讲的反爬机制应对策略(反反爬):
伪装浏览器
使用代理IP
抓包分析突破异步加载 / selenium自动化测试工具
添加cookie
最后嘱咐大家一句,爬虫世界确实很有意思,技术是无罪的,学习是可以的,但还是实际操作就要适可而止了,不要触碰到法律的边界线。
感谢每一个认真阅读我文章的人,看着粉丝一路的上涨和关注,礼尚往来总是要有的:
① 2000多本Python电子书(主流和经典的书籍应该都有了)
② Python标准库资料(最全中文版)
③ 项目源码(四五十个有趣且经典的练手项目及源码)
④ Python基础入门、爬虫、web开发、大数据分析方面的视频(适合小白学习)
⑤ Python学习路线图(告别不入流的学习)
虽然不是什么很值钱的东西,如果你用得到的话可以直接拿走,在我的QQ技术交流群里(技术交流和资源共享,广告进来腿给你打断)可以自助拿走,群号1044939456。
网站有反爬机制就爬不了数据?那是你不会【反】反爬!道高一尺魔高一丈啊!相关推荐
- Python突破拉钩反爬机制,采集各类招聘数据
首先说一下这个有啥用?要说有用也没啥用,要说没用吧,既然能拿到这些数据,拿来做数据分析.能有效的得到职位信息,薪资信息等.也能为找工作更加简单吧,且能够比较有选择性的相匹配的职位及公司 很多人学习py ...
- 怎么防爬虫爬取信息_scrapy爬取51job职位信息(针对新的反爬虫机制)!
1 定义抓取内容 在items.py中添加如下代码: class Job51Item(scrapy.Item):title = scrapy.Field()salary = scrapy.Field( ...
- 爬虫原理及反爬虫机制以及反爬虫方法的应对策略
爬虫原理及反爬虫机制 关于爬虫 爬虫原理 反爬虫机制 1.检验数据头User-Agent反爬虫机制解析: 2.访问频率限制或检验 3.蜜罐技术 反爬虫机制的应对方法 1.设定Request Heade ...
- 用Python破解有道翻译反爬虫机制
破解有道翻译反爬虫机制 web端的有道翻译,在之前是直接可以爬的.也就是说只要获取到了他的接口,你就可以肆无忌惮的使用他的接口进行翻译而不需要支付任何费用.那么自从有道翻译推出他的API服务的时候,就 ...
- Scrapy爬取1908电影网电影数据
Scrapy爬取1908电影网电影数据 最初是打算直接从豆瓣上爬电影数据的,但编写完一直出现403错误,查了查是豆瓣反爬虫导致了,加了headers也还是一直出现错误,无奈只能转战1908电影网了. ...
- sparkstreaming监听hdfs目录如何终止_Spark笔试题:Spark Streaming 反压机制
Spark Streaming 反压机制是1.5版本推出的特性,用来解决处理速度比摄入速度慢的情况,简单来讲就是做流量控制.当批处理时间(Batch Processing Time)大于批次间隔(Ba ...
- Python爬取图片、视频以及将数据写入excel的方法小摘要
Python爬取图片.视频以及将数据写入excel的方法小摘要 1.爬取图片 2.爬取视频 3.将获取的数据存入excel 4.备注 1.爬取图片 import requests #导入request ...
- 35-Spark Streaming反压机制、Spark的数据倾斜的解决和Kylin的简单介绍
19.6 数据的反压机制⭐️ 反压机制的理解 数据流入的速度远高于数据处理的速度,对流处理系统构成巨大的负载压力,如果不能正确处理,可能导致集群资源耗尽,最终集群崩溃, 因此有效的反压机制(backp ...
- 克服反爬虫机制爬取智联招聘网站
一.实验内容 1.爬取网站: 智联招聘网站(https://www.zhaopin.com/) 2.网站的反爬虫机制: 在我频繁爬取智联招聘网站之后,它会出现以下文字(尽管我已经控制了爬虫的爬 ...
- 某Boss招聘网站的反反爬机制详解
近日出于学习的目的对某Boss网站的反爬机制进行了分析和逆向,终于完全搞定了,记录总结下方便日后学习! 本代码请仅用于 纯技术研究的 用途,请勿用于商业用途或 非法用途,如果因使用者非法使用造成的法律 ...
最新文章
- 云消防大数据_消防云大数据app下载-消防云大数据下载v1.1.5 安卓版-西西软件下载...
- VTK修炼之道42:频域处理_高通滤波(理想+巴特沃兹)
- CAN总线抗干扰的六种解决方案
- 算法—巧排扑克牌(C语言)
- node后台截图 box-shadow无效-解决
- Python3+Selenium3+webdriver学习笔记8(单选、复选框、弹窗处理)
- golang读写excel
- html5数学公式编辑器,数学公式编辑器的使用技巧
- 计算机控制系统电梯控制,计算机控制系统实验报告1.doc
- 很清晰的解读i2c协议
- 通过IP地址获取对方MAC地址的命令
- 日语简体形与敬体形 - 新版标日22课
- 科技爱好者周刊:第 86 期
- 2021年茶艺师(中级)考试及茶艺师(中级)考试题
- [《所遇随心》偶感小记]2012年8月28日
- android 开发闪屏动画,Android闪屏效果实现方法
- 【机器学习线性代数】10 相似对角矩阵:漂亮的最简形式
- 昔日移动GPU王者,从数据中心、汽车等市场全面杀回来——专访Imagination技术创新副总裁Kristof Beets...
- 原始设备制造商OEM简介
- #论文阅读# MORAN