如何有效的屏蔽百度蜘蛛

很多时候，我们都不会去把百度蜘蛛去屏蔽掉，但是也有需要去屏蔽一些不必要的抓取，比如一些大型的网站门户网，有登录页面或者是注册页面，还有一些不想让百度蜘蛛抓取文件都可以利用robots协议来完成，那么重庆SEO徐三就讲解哈屏蔽百度蜘蛛的具体方法。

一、robots协议

robots协议相信大家都不陌生，首先既然要用到robots协议，那么我们就要先创建一个记事本，把记事本重命名为robots，然后我们写下robots协议具体如下：

User-agent: BadBot
Disallow: /

然后保存后通过FTP工具上传到网站根目录即可。

二、robots Meta标签

robots Meta标签也可以屏蔽百度蜘蛛抓取，这种方法与robots类似，但是还是部分搜索引擎不支持，robots Meta用来对某几个页面单独设置时使用。其代码是写在“<head></head>”之间，如下所示：

<head>

</head>

三、.htaccess屏蔽

如果说使用robots协议无法全部屏蔽你的网站，那么你可以在你的网站根目录下找到.htaccess屏蔽代码如下：

方法1：

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC]

RewriteRule .* – [F]

方法2：

SetEnvIfNoCase User-Agent “^Baiduspider” bad_bot

Order Allow,Deny

Allow from all

Deny from env=bad_bot

</Limit>

总结:百度蜘蛛屏蔽方法有许多，以上方法可参考，重庆SEO鹏鹏觉得还是以robots协议较好，所以其他方法及时可以用，但是也不建议去做，因为一步小心搞错了，就会导致麻烦不断！

本文来源：http://www.pengpengseo.com/

如何有效的屏蔽百度蜘蛛相关推荐

php通过函数怎么禁止百度蜘蛛抓取,怎么屏蔽百度蜘蛛抓取网站？
百度蜘蛛抓取我们的网站是希望将我们的网页收录到它的搜索引擎里,未来当用户搜索时,能为我们带来一定的SEO流量.当然我们并不是希望搜索引擎什么都抓取. 所以,这时我们只希望我们希望在搜索引擎被搜索到的内 ...
屏蔽百度蜘蛛或某一爬虫的四种方法
今天打开自己的网站发现很卡,但是检查网站的访问量并不高,登陆服务器发现流量很高,于是查看访问日志,发现网站日志中开头的某一ip段大量频繁访问,来自一个叫Bytespider的爬虫,就在网上查找方法想屏 ...
巨头间的战争，我眼中的的“淘宝为什么屏蔽百度抓取”
来自http://news.paidai.com/12967 作者:芜湖SEO舒扬 1.现状和思考如今,假设在百度里搜索淘宝网,您所示结果应该是这样的,"由于该站点的robots.t ...
robots里屏蔽百度和GG以外的蜘蛛
robots里屏蔽百度和GG以外的蜘蛛?有个未知的蜘蛛,一个月要爬走6G流量,太恐怖了想屏蔽掉,怎么写? 通过http头进行区分!!robots里能区分?我用的是虚拟主机哦下面仅仅允许google, ...
网站服务器蜘蛛日志怎么看,如何查看百度蜘蛛，google蜘蛛爬取记录？《网站日志分析篇》...
也许各位常常看到别人在群里聊天,某某人的网站出现什么问题了...别人建议查看网站的日志文件,分析蜘蛛的爬取情况.可是如何去分析日志文件却很少有人去提,接下来我会大概介绍一下,如何去分析网站的日志文件, ...
wordpress如何让百度快速收录_如何解决百度收录问题 - 百度蜘蛛池
最蜘蛛池,35台智能服务器,每天超千万蜘蛛爬行,让您的链接收录率和排名快速提升.目前有:百度蜘蛛池.搜狗蜘蛛池.360蜘蛛池.神马蜘蛛池.繁殖池.权重池,欢迎使用. 我们做seo时每天的工作之一就是早 ...
帝国织梦和各种php网页将局部广告进行屏蔽搜索引擎蜘蛛
帝国织梦和各种php网页将局部广告进行屏蔽搜索引擎蜘蛛搜索引擎收录的信息是以快照为准.百度站长工具里有一个抓取诊断功能,在使用后可以用它来测试是否正常被屏蔽网站SEO为什么要屏蔽广告? 广告有 ...
西安天讯：怎样添加百度蜘蛛访问网站日志log日志
时间 s-sitename W3SVC1 \: date 2010-07-30 \:06:43 \\\\.;\\\\\服务器名称 s-computername MGL \\ 网站名称 s-ip .日志 ...
php 让百度蜘蛛抓取403,百度蜘蛛不抓取页面的解决方法
该楼层疑似违规已被系统折叠隐藏此楼查看此楼我们都知道我们网站的页面要想被百度收录必须经过百度蜘蛛的抓取,因此我们要经常关注我们网站页面被抓取的情况,如果遇到不被抓取的情况,那么就要引起我们的注意, ...
淘宝屏蔽百度3---为淘宝叫好
淘宝屏蔽百度炒的有一段日子了,虽然百度还是一样一如既往的抓取淘宝的网页,照样给予排名. 李彦宏应该随时警惕马云上诉法庭. 为什么说淘宝一定要屏蔽百度才能发展呢? 第一,前车之鉴,假如当初做MP3等音乐 ...

如何有效的屏蔽百度蜘蛛

如何有效的屏蔽百度蜘蛛相关推荐

最新文章

热门文章