Incapsula 反爬虫

新遇到个反爬虫的事情，在一个遍历中，第一个数据正常，第二个报错：

<html style="height:100%"><head><META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"><meta name="format-detection" content="telephone=no"><meta name="viewport" content="initial-scale=1.0"><meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"></head><body style="margin:0px;height:100%"><iframe src="/_Incapsula_Resource?CWUDNSAI=9&xinfo=10-169203586-0 0NNN RT(1481249976816 0) q(0 -1 -1 -1) r(0 -1) B12(4,316,0) U2&incident_id=461000260199316743-1312910273363640746&edet=12&cinfo=04000000" frameborder=0 width="100%" height="100%" marginheight="0px" marginwidth="0px">Request unsuccessful. Incapsula incident ID: 461000260199316743-1312910273363640746</iframe></body></html>

解决方法:

在请求的headers 把cookie带上，抓取到了页面

Incapsula 反爬虫相关推荐

【Python3爬虫】常见反爬虫措施及解决办法（二）...
[Python3爬虫]常见反爬虫措施及解决办法(二) 这一篇博客,还是接着说那些常见的反爬虫措施以及我们的解决办法.同样的,如果对你有帮助的话,麻烦点一下推荐啦. 一.防盗链这次我遇到的防盗链,除了 ...
如何利用 C# + Python 破解猫眼电影的反爬虫机制？
在如何利用 C# 爬取「猫眼电影:最受期待榜」及对应影片信息! 这篇图文中可以看到猫眼电影对"本月新增想看人数" 和 "总想看人数"进行了字符集加密. 在如 ...
WebDriver 识别反爬虫的原理和破解方法~
作者|志斌来源|python笔记有时候我们在爬取动态网页的时候,会借助渲染工具来进行爬取,这个"借助"实际上就是通过使用相应的浏览器驱动(即WebDriver)向浏览器发出命令 ...
大佬带你详解Python反爬虫措施以及爬虫编写注意事项
Python爬虫开发:反爬虫措施以及爬虫编写注意事项反爬虫的几重措施 1.IP限制如果是个人编写的爬虫,IP可能是固定的,那么发现某个IP请求过于频繁并且短时间内访问大量的页面,有爬虫的嫌疑,作为 ...
java 反爬虫_springboot反爬虫组件kk-anti-reptile的使用方法
大家好,我是为广大程序员兄弟操碎了心的小编,每天推荐一个小工具/源码,装满你的收藏夹,每天分享一个小技巧,让你轻松节省开发效率,实现不加班不熬夜不掉头发,是我的目标! 今天小编推荐一款反爬虫组件叫kk ...
如何设计一款地震高岗一派溪山千古秀的反爬虫？
天地会青木堂地震高岗,一派溪山千古秀门朝大海,三河合水万年流没错,这正是<鹿鼎记>天地会的接头暗号. 天地会为什么需要接头暗号呢? 假设天地会赤火堂香主派人从京城前扬州将一封非常重 ...
如何设计一款暗度陈仓的反爬虫
本文授权转载自搜狐技术产品,特此感谢. 明修栈道.暗渡陈仓是一组出自<史记·淮阴侯列传>的成语,指将真实的意图隐藏在表面行动的背后,用明显的行动迷惑对方,使敌产生错觉,从而忽略我方的真实意 ...
html中::before 爬虫_反反爬虫系列(四)
过完年,好了,咱们接着更新反反爬虫系列至于之前有朋友表示出一下1688呀,x宝的反反爬虫说实在的,阿里系的反爬虫很厉害,我自愧不能搞定. 比如x宝的登录,用了selenium + chrome的朋 ...
反爬虫——使用chrome headless时一些需要注意的细节
以前我们介绍过chrome headless的用法(https://www.cnblogs.com/apocelipes/p/9264673.html). 今天我们要稍微提一下其中一个细节. 反爬和w ...

Incapsula 反爬虫

Incapsula 反爬虫相关推荐

最新文章

热门文章