屏蔽搜索引擎的无用蜘蛛，减轻服务器压力

现在有很多的未知蜘蛛，总是频繁抓取我们的网站，特别是服务器配置不高的情况下，那么如何屏蔽这些垃圾蜘蛛减轻服务器压力呢？

一般来说，屏蔽蜘蛛抓取有三种方法：

Robots屏蔽
UA屏蔽
IP屏蔽

主机教程网一般都是通过Robots屏蔽这个方法，Robots 协议（也称为爬虫协议、机器人协议等）用来告诉搜索引擎、爬虫哪些页面https://2bcd.com可以抓取，哪些页面不能抓取。

常见垃圾蜘蛛：

AhrefsBot：通过抓取网页建立索引库,并提供反向链接分析和服务。
dotbot：在线营销分析软件。
MJ12bot：英国搜索引擎。
Deusu：个人的项目一个搜索引擎。
grapeshot：这家公司好像也是分析网站用的。

屏蔽方式如下：

在robots.txt目录下添加下面的代码，添加之后再用百度站长平台检测一下robots是否正确。

User-agent: AhrefsBot
Disallow: /
User-agent: dotbot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: DeuSu
Disallow: /
User-agent: grapeshot
Disallow: /

各大常见蜘蛛：

百度蜘蛛：Baiduspider

谷歌蜘蛛：Googlebot

必应蜘蛛：bingbot

搜狗蜘蛛：Sogou web spider

360蜘蛛：360Spider

来源：https://2bcd.com/37.html

屏蔽搜索引擎的无用蜘蛛，减轻服务器压力相关推荐

浅谈屏蔽搜索引擎爬虫（蜘蛛）抓取/索引/收录网页的几种思路
在大部分情况下,网站开发完成后,在运营期间,都希望搜索引擎收录网站的内容越多越好,但是有的时候为了安全期间不希望搜索引擎收录网页内容,比如在外网部署的监控系统等: 以下列举了屏蔽主流搜索引擎爬虫(蜘 ...
linux 防ddos攻击软件,linux系统下免费防DDOS CC攻击脚本，有效减轻服务器压力【转】...
网站DDOS是最头疼的事.即使是国内高防的服务器,也不能100%彻底解决CC,DDOS攻击,在没有硬防的情况下,寻找软件代替是最直接的方法,比如用iptables,但是iptables不能在自动屏蔽, ...
ajax 服务器压力,web中ajax请求后台的节流方式，减轻服务器压力
场景 web前端中有一些需要与后台一起完成的用户体验,比如输入提示,下拉搜索等,监听键盘事件或者websocket流等不断的通过ajax向后台发送请求,获取详情的数据,而页面中的oninput,mou ...
robots.txt屏蔽海外无用蜘蛛，防止大量蜘蛛抓取导致网站崩溃（资源宝博客整理分享）
屏蔽海外无用蜘蛛,防止大量蜘蛛抓取导致网站崩溃 robots协议也叫robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的蜘蛛,此网站中的哪些内 ...
帝国织梦和各种php网页将局部广告进行屏蔽搜索引擎蜘蛛
帝国织梦和各种php网页将局部广告进行屏蔽搜索引擎蜘蛛搜索引擎收录的信息是以快照为准.百度站长工具里有一个抓取诊断功能,在使用后可以用它来测试是否正常被屏蔽网站SEO为什么要屏蔽广告? 广告有 ...
搜索引擎（网络蜘蛛及搜索引擎基本原理）
2006-05-25 网络蜘蛛及搜索引擎基本原理 TAG:搜索相关搜索引擎的工作原理大致可以分为: 搜集信息:搜索引擎的信息搜集基本都是自动的.搜索引擎利用称为网络蜘蛛(spider)的自动搜索机器 ...
探讨游戏服务器压力的三座大山——数据库、网络以及系统资源(1)
贴上原文地址:http://blog.csdn.net/gz80/article/details/7408658 游戏上线三个多月,途中经历了宕机.卡死.回档.断线.间歇性抽风.断续登陆失败等无数劫难 ...
各大网站屏蔽搜索引擎抓取分析
2019独角兽企业重金招聘Python工程师标准>>> 前面转载了一篇关于淘宝屏蔽百度的文章,但是那是其他人的看法,还是想发表一下自己的看法,当然由于本人对屏蔽爬虫内幕了解不是很多 ...
南柯服务器压力,性能测试的数据解释及分析 - Mr.南柯 - 51Testing软件测试网 51Testing软件测试网-软件测试人的精神家园...
顾名思义,测试服务(服务,服务,其他网络应用服务,本地服务)的性能如何?如何衡量性能?最表面的无非就是看能支撑多少个用户同时使用该服务.且关注用户使用过程中的用户体验. U.^*A+Mb6{*z@0T ...

屏蔽搜索引擎的无用蜘蛛，减轻服务器压力

屏蔽搜索引擎的无用蜘蛛，减轻服务器压力相关推荐

最新文章

热门文章