nginx下禁止垃圾蜘蛛爬行网站，只保留百度蜘蛛和搜狗360神马等。访客浏览器打开则出现404错误页，进行跳转。站群引流比较方便，也能规避一些小白参考自己的站群内容。

以宝塔面板为例

    if ($http_user_agent !~* "Baidu|Yisou|Sogou|360"){return 404;}

复制以上代码保存到相应位置即可。

实际测试，以360 sogou等简写字符代替360Spider蜘蛛全称，完全可行。本人亲测百度资源管理后台，百度抓取诊断，可以正常获取网页内容。

nginx下禁止垃圾蜘蛛爬取网站，只保留百度蜘蛛和搜狗360神马等相关推荐

蜘蛛爬取网页服务器卡死,总结搜索引擎蜘蛛抓取不到页面的原因及改善措施
在诊断过程中,我们会遇到这样的问题.有些网页内容很好,用户可以正常访问.然而,搜索引擎蜘蛛只是不能正常访问和抓取它们,导致搜索结果覆盖率不足,这是百度等搜索引擎和网站的损失.百度称之为"抢夺 ...
长沙网络推广浅析如何增加网站的蜘蛛爬取频次？
网站的收录越高,网站排名高的机会也就越大,对于收录的问题,对于蜘蛛爬取网站也是有很大的关系的,通常情况下,蜘蛛爬取的越多,也就代表该网站很受用户喜爱,网站的被抓取率也会高点,那么对于有些网站优化来说, ...
新域名做网站优化，如何才能快速的被蜘蛛爬取收录？
近些年从事SEO行业的人员普遍遇到的几大问题:①搜索引擎蜘蛛不爬取:②网站收录困难:③网站无排名.今天冬镜就针对这几点聊聊在2021年中怎么有效的来解决这些问题. 何为新域名?SEO又是如何理解新域名 ...
如何使用robots禁止各大搜索引擎爬虫爬取网站
如何使用robots禁止各大搜索引擎爬虫爬取网站一.总结一句话总结:假如此网站禁止爬虫抓取,那么,只要在网站的根目录下,创建一个robots.txt文件 User-agent: * Disallo ...
浅析如何从吸引蜘蛛爬取的角度进行网站内容优化建设
众所周知,网站内容建设是网站的灵魂,因此,我们在建立网站基本框架之后,下一步就是做好网站的内容策略规划,只有保证网站内容的更新节奏才能让搜索引擎更好地收集网站内容促进网站关键词的排名提升.这是一般从网 ...
网站服务器蜘蛛日志怎么看,如何查看百度蜘蛛，google蜘蛛爬取记录？《网站日志分析篇》...
也许各位常常看到别人在群里聊天,某某人的网站出现什么问题了...别人建议查看网站的日志文件,分析蜘蛛的爬取情况.可是如何去分析日志文件却很少有人去提,接下来我会大概介绍一下,如何去分析网站的日志文件, ...
php通过函数怎么禁止百度蜘蛛抓取,怎么屏蔽百度蜘蛛抓取网站？
百度蜘蛛抓取我们的网站是希望将我们的网页收录到它的搜索引擎里,未来当用户搜索时,能为我们带来一定的SEO流量.当然我们并不是希望搜索引擎什么都抓取. 所以,这时我们只希望我们希望在搜索引擎被搜索到的内 ...
python 第一行报错_初学Python-只需4步，爬取网站图片
很多人学习Python很重要的一个原因是,可以很简单的把一个网站的数据爬下来. 尤其是做我们这一行,产品经理,电商行业. 领导:弄一个买卖游戏周边商品的交易APP出来.我:行,那我们卖什么呀?领导:看 ...
宝塔怎么看蜘蛛爬取日志
在网址做SEO提升的时候,就必须长时间关心网站蜘蛛访问日志,有利于剖析百度爬虫或是别的搜索引擎蜘蛛爬取的情况. 如果是 linux 宝塔面板的服务器自然环境,大家登陆宝塔面板linux控制面板后, ...

nginx下禁止垃圾蜘蛛爬取网站，只保留百度蜘蛛和搜狗360神马等

以宝塔面板为例

nginx下禁止垃圾蜘蛛爬取网站，只保留百度蜘蛛和搜狗360神马等相关推荐

最新文章

热门文章