网站屏蔽搜索引擎的方法

有的时候我们的网站可能还在调试阶段，或者只对部分告知用户或内部人使用，可能不想让搜索引擎抓取我们的网站，以下介绍几种屏蔽搜索引擎的抓取：

1.在网站的根目录下创建robots.txt，添加内容：

User-agent:* Disallow:/ 禁止某一搜索引擎，如百度：

User-agent:baiduspider Disallow:/

各大搜索引擎代号：

google蜘蛛： googlebot

百度蜘蛛：baiduspider

yahoo蜘蛛：slurp

alexa蜘蛛：ia_archiver

msn蜘蛛：msnbot

有道蜘蛛：YodaoBot和OutfoxBot

搜狗蜘蛛：sogou spider

SOSO蜘蛛：sosospider

360：PeopleRank

2.在网站单页的<head></head>之间添加Meta信息：

CONTENT=INDEX,FOLLOW：可以抓取本页，而且可以顺着本页继续索引别的链接

CONTENT=NOINDEX,FOLLOW：不许抓取本页，但是可以顺着本页抓取索引别的链接

CONTENT=INDEX,NOFOLLOW：可以抓取本页，但是不许顺着本页抓取索引别的链接

CONTENT=NOINDEX,NOFOLLOW：不许抓取本页，也不许顺着本页抓取索引别的链接。

还可以用以下语句禁止搜索引擎为页面建立快照：

3.在网站的根目录下建一个.htaccess文件，这样比robots更加严密（仅适合技术人员），文件内容：

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC]

RewriteRule .* - [F]

转载于:https://www.cnblogs.com/ItcastZc/p/4118579.html

网站屏蔽搜索引擎的方法相关推荐

各大网站屏蔽搜索引擎抓取分析
2019独角兽企业重金招聘Python工程师标准>>> 前面转载了一篇关于淘宝屏蔽百度的文章,但是那是其他人的看法,还是想发表一下自己的看法,当然由于本人对屏蔽爬虫内幕了解不是很多 ...
网站推广-搜索引擎推广方法
搜索引擎推广是指利用搜索引擎.分类目录等具有在线检索信息功能的网络工具进行网站推广的方法.由于搜索引擎的基本形式可以分为网络蜘蛛型搜索引擎(简称搜索引擎)和基于人工分类目录的搜索引擎(简称分类目录), ...
新闻集团下周将推iPad报纸网站屏蔽搜索引擎
[b]腾讯科技讯[/b] 据国外媒体报道,消息人士透露,新闻集团掌门鲁珀特·默多克(Rupert Murdoch)与苹果掌门史蒂夫·乔布斯(Steve Jobs)将于1月19日在旧金山现代艺术博物馆为 ...
搜索引擎只能抓取html文件,通过robots屏蔽搜索引擎抓取网站内容
robots协议屏蔽搜索引擎抓取 Robots协议(也称为爬虫协议.机器人协议等)的全称是"网络爬虫排除标准"(Robots Exclusion Protocol),网站通过Rob ...
博客屏蔽搜索引擎只是个笑话！！
博客屏蔽搜索引擎只是个笑话!!最近SEOWHY论坛里有些人以"听说"."据说"."传言"之类的话来传播一个谣言,就是有些博客屏蔽搜索引擎.因 ...
网站SEO优化的方法
网站SEO优化的方法: 1.url静态化和规范化:url中都去掉了index.php这样的后缀网址形式,目的就是让网站的层级更浅,获得的权重更高代码中可以使用urlrewrite重写. 2.域名30 ...
url动态追加参数_领高舆情优化：SEO网站URL优化的方法！
摘要:领高舆情优化在前几篇文章当中,分享过很多关于网站收录的内容,今天我们就来说说网站URL优化的几点注意要点. 领高舆情优化:SEO网站URL优化的方法! 一.url目录层级不要太多我们知道目录层 ...
10种网站数据的采集方法
10种AI训练数据采集工具排行榜 10种网站数据的采集方法 1.目前常用的10种网站数据 2.如何写Python爬虫: 3.人生第一个爬虫代码示例: 另外: 10种网站数据的采集方法如何收集网站数 ...
2022年网站快速排名优化方法是什么？
目前,为了取得更好的宣传效果,必须合理运用各种网络营销手段,在网上进行宣传,扩大宣传范围,获得更多的流量. 在众多的互联网普及方式中,网站的普及是大多数人最喜欢的普及方式,如果能够利用搜索引擎优化技术 ...
推广网站的26种方法
推广网站的26种方法 <script> var $tag=''; var $tag_code='1ab45b5672ffa519c31f86e5106a799c'; </script ...

网站屏蔽搜索引擎的方法

网站屏蔽搜索引擎的方法相关推荐

最新文章

热门文章