php怎么防止爬虫,PHP语言学习之php 防止爬虫设置

本文主要向大家介绍了PHP语言学习之php 防止爬虫设置，通过具体的内容向大家展示，希望对大家学习php语言有所帮助。php 防止爬虫设置

php代码如图所示：

//获取UA信息

$ua = $_SERVER[‘HTTP_USER_AGENT‘];

//将恶意USER_AGENT存入数组

$now_ua

= array(‘FeedDemon ‘,‘BOT/0.1 (BOT for JCE)‘,‘CrawlDaddy

‘,‘Java‘,‘Feedly‘,‘UniversalFeedParser‘,‘ApacheBench‘,‘Swiftbot‘,‘ZmEu‘,‘Indy

Library‘,‘oBot‘,‘jaunty‘,‘YandexBot‘,‘AhrefsBot‘,‘MJ12bot‘,‘WinHttp‘,‘EasouSpider‘,‘HttpClient‘,‘Microsoft

URL Control‘,‘YYSpider‘,‘jaunty‘,‘Python-urllib‘,‘lightDeckReports

Bot‘);

//禁止空USER_AGENT，dedecms等主流采集程序都是空USER_AGENT，部分sql注入工具也是空USER_AGENT

if(!$ua) {

header("Content-type: text/html; charset=utf-8");

die(‘李世龙原创采集者木有小JJ！‘);

}else{

foreach($now_ua as $value )

//判断是否是数组中存在的UA

if(eregi($value,$ua)) {

header("Content-type: text/html; charset=utf-8");

die(‘请勿采集本站，采集的木有小JJ！‘);

}

如果是vps，那非常简单，使用curl -A 模拟抓取即可，比如：模拟宜搜蜘蛛抓取：

本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标编程语言PHP频道！

php怎么防止爬虫,PHP语言学习之php 防止爬虫设置相关推荐

r语言remarkdown展示图_R语言学习笔记--R bookdown图表设置中英文双标题
一. 测试文档,该文档修改自 bookdown 的官方中文模板. 该方案可以实现同时生成pdf和html两种格式的文件,pdf文件中实现双标题,html文件可正常生成单个标题. 二. 结合 CTEX ...
视频教程-桫哥-GOlang基础-Go语言实战：并发爬虫-Go语言
桫哥-GOlang基础-Go语言实战:并发爬虫多年互联网从业经验: 有丰富的的企业网站.手游.APP开发经验: 曾担任上海益盟软件技术股份有限公司项目经理及产品经理: 参与项目有益盟私募工厂.睿妙影 ...
基于python语言，使用爬虫和深度学习来预测双色球（二、模型训练与测试）
在上一篇博文中(基于python语言,使用爬虫和深度学习来预测双色球(一.数据的准备)),我们完成了数据的准备,通过爬虫的方式将2003年至今的每一期的中奖数据保存到了txt文件中,那么我们现在就开始 ...
R语言学习笔记（八）--读写文件与网络爬虫
R语言学习笔记(八) 1 工作路径 2 保存R对象 3 Scan函数 3-1 从控制台读取数据 3-2 从txt文件读取数据 3-3 从url读取数据 4 按行读写文本文件 5 读取文本文件(txt. ...
Python学习教程：Python爬虫抓取技术的门道
Python学习教程:Python爬虫抓取技术的门道 web是一个开放的平台,这也奠定了web从90年代初诞生直至今日将近30年来蓬勃的发展.然而,正所谓成也萧何败也萧何,开放的特性.搜索引擎以及简单 ...
Java网络爬虫该如何学习
文章目录引言怎么入门网络爬虫课程特色学完本课程能收获什么引言互联网以及移动技术的飞速发展,使得全球数据量呈现前所未有的爆炸式增长态势.例如,用户在互联网上的搜索数据.交易数据.评论数据.社 ...
python 网页版笔记_系统学习下python网络爬虫笔记一
系统学习下python网络爬虫的知识 1.爬虫的定义 Web Spider,把互联网定义为一个蜘蛛网,网络蜘蛛通过网页的链接地址来寻找网页. 具体过程:从网站的某一个网页(通常是首页)开始,读取网页的 ...
R语言学习系列之本地数据获取
R语言学习系列之本地数据获取任何数据分析工作之前,都得把数据先读取进来你才能进行后续的分析工作.所以本文简要介绍在R中如何对本地文件进行获取,希望可以给刚刚接触R语言的同学一点启发. 一.控制台的输 ...
python爬虫群_(招募截止)『Python爬虫小分队』学习群第三期招募
一个月多月没有更新文章了,这次一上来就是广告,还是硬广 .感谢大家记得,还有不少同学在问第三期什么时候开,这就来了- 一.不是程序员而会编程为你的工作带来了哪些优势? 这是知乎上的一个问题.总结一下知 ...

php怎么防止爬虫,PHP语言学习之php 防止爬虫设置

php怎么防止爬虫,PHP语言学习之php 防止爬虫设置相关推荐

最新文章

热门文章