如何在宝塔面板中屏蔽垃圾蜘蛛？

最近查看网站蜘蛛爬取情况，发现很多如SemrushBot、AhrefsBot之类的垃圾蜘蛛占比非常大，而且占用服务器资源。

网上搜索一番，找到了一个在宝塔面板中一劳永逸的方法。

在文件目录/www/server/nginx/conf文件夹下面，新建一个文件，命名为
agent_deny.conf
添加如下代码

#禁止Scrapy等工具的抓取if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {return 403;}#禁止指定UA及UA为空的访问if ($http_user_agent ~* "FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|Bytespider|Ezooms|Googlebot|JikeSpider|SemrushBot|^$" ) {return 403;             }#禁止非GET|HEAD|POST方式的抓取if ($request_method !~ ^(GET|HEAD|POST)$) {return 403;}

找到网站设置里面的第7行左右，写入代码：include agent_deny.conf;
如果你网站使用火车头采集发布，使用以上代码会返回403错误，发布不了的。如果想使用火车头采集发布，请使用下面的代码

#禁止Scrapy等工具的抓取if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {return 403;}#禁止指定UA访问。UA为空的可以访问，比如火车头可以正常发布。if  ($http_user_agent ~ "FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|YandexBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|Bytespider|Ezooms|Googlebot|JikeSpider|SemrushBot" ) {return 403;             }#禁止非GET|HEAD|POST方式的抓取if ($request_method !~ ^(GET|HEAD|POST)$) {return 403;}

如何在宝塔面板中屏蔽垃圾蜘蛛？相关推荐

nginx防护规则，拦截非法字符，防止SQL注入、防XSS，nginx过滤url访问，屏蔽垃圾蜘蛛，WordPress安全代码篇
nginx防护规则,拦截非法字符,防止SQL注入.防XSS,nginx过滤url访问,屏蔽垃圾蜘蛛,WordPress安全代码篇精心强化,小白一键复制资源宝分享:www.httple.net 宝塔 ...
7.1 pdo 宝塔面板php_记宝塔面板中 PHP升级到 7.3.16安全版本概要
因为有云主机上安装的宝塔面板管理的 LAMP运行环境,所以今天看见宝塔面板中的软件商店里 PHP7.3版本提示有更新,就点击查看是可以更新到 PHP7.3.16版本,于是搜索了一下 PHP7. ...
php-rpm.conf,在新安装的宝塔面板中php无法启动起来
在新安装的宝塔面板中php无法启动起来去看了网站的报错信息是: [Wed Aug 15 11:00:09.827025 2018] [proxy:error] [pid 4264] (2)No su ...
Ubuntu21.04 安装mapserver教程（宝塔面板中安装mapserver）
Ubuntu21.04 安装mapserver教程(宝塔面板中安装mapserver) 前言一.更新apt 二.安装Lamp环境(apache + mysql + php)(*已经安装了环境的跳过* ...
超简单在宝塔面板中使用Mysql命令快速导入大容量数据库
在宝塔面板中,文件栏目中打开 /www/backup/database 文件夹,把我们的数据库上传到此文件夹中.(一般导入的数据库都会上传到这个文件夹,方便以后管理) 点击旁边的终端,打开宝塔终端界面 ...
网站服务器怎么屏蔽ip段,宝塔面板如何屏蔽禁止某个IP(IP段)访问
最近查阅日志发现网站被不明人士恶意刷PV,另外还有很多垃圾搜索引擎蜘蛛疯狂的抓页面,令人很烦,查阅了一下,宝塔上面是可以屏蔽掉的. 今天我们分享下如何手动禁止掉某个 ip 的访问,这个问题挺简单的也非 ...
屏蔽垃圾蜘蛛php代码,伪静态屏蔽垃圾蜘蛛的方法
所以这里还是建议屏蔽一些垃圾蜘蛛! 目前宝塔的防火墙UA能有效的屏蔽部分蜘蛛,但是有一些蜘蛛对这个是无效的,所以这里用修改伪静态方式有效闭屏蜘蛛,代码如下! SetEnvIfNoCase ^User- ...
php屏蔽蜘蛛,如何屏蔽垃圾蜘蛛抓取页面
在服务器日常维护过程中我们经常会发现日志中有很多网络蜘蛛爬取的记录,这些蜘蛛有些是知名的并对网站收录流量有益的,比如百度蜘蛛(Baiduspider),也有不但不遵守robots规则对服务器造成压力, ...
在宝塔面板中创建免费的ddns（这里用了dynu.com）
前几天一直在折腾几个国产寨板放家里做服务器用.然后看了一下之前做的ddns只有3322还有效,花生壳的已经失效了(太久不用账户让我重新实名是什么鬼操作).然后k2p的路由器也没有阿里云什么的. 332 ...
屏蔽常见垃圾蜘蛛和扫描工具的两种办法
下面给大家带来两种屏蔽垃圾蜘蛛的方法方法一通过网站Robots.txt来屏蔽 User-agent: AhrefsBot Disallow: /User-agent: DotBot Disallo ...

如何在宝塔面板中屏蔽垃圾蜘蛛？

如何在宝塔面板中屏蔽垃圾蜘蛛？相关推荐

最新文章

热门文章