robots协议文件的几种写法及示例

robots协议是放在网站根目录下的文本文件，告诉搜索引擎哪些内容是否可以被爬取；
robots协议的作用：
   1）引导搜索引擎蜘蛛爬取指定栏目或内容；
   2）网站改版或者url优化重写时屏蔽对搜索引擎不友好的链接；
   3）屏蔽死链、404错误页面；
   4）屏蔽无意义无内容的页面；
   5）屏蔽重复页；
   6）屏蔽不想被收录的页面；
   7）引导蜘蛛抓取网站地图；
   8）屏蔽网站中较大的文件，图片视频等节约宽带提升速度；

语法及通配符：
   1）User-agent: 定义搜索引擎；
   2）Disallow: 定义禁止蜘蛛爬取的页面或目录；
   3）Allow: 定义允许蜘蛛爬取的页面或目录；
   4）$ 匹配url结尾的字符；
   5）* 匹配0个或多个任意字符；

文件写法：
1）User-agent: * 这里的代表所有的搜索引擎种类；（谷歌:Googlebot、百度:Baiduspider、MSN:MSNbot、Yahoo:Slurp）

2）Disallow: /admin/ 禁止爬取admin目录下面的所有目录；

3）Disallow: /admin 禁止爬取/admin.html、/adminset.html、/admin/abc.html；

4）Disallow: /admin/.html 禁止爬取admin目录下的所有以html为后缀的文件（包括子目录）；

5）Disallow: /? 禁止爬取网站中所有包含问号的网址；

6）Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片；

7）Disallow: /ab/abc.html 禁止爬取ab文件下的abc.html文件；

8）Allow: /abc/ 允许爬取abc目录下的所有目录；

9）Allow: /tmp 允许爬取tmp目录；

10）Allow: .html$ 允许爬取网页以html为后缀的url；

11）Allow: .gif$ 允许抓取网页中gif格式的图片；

12）Sitemap: 网站地图告诉爬虫这个页面是网站地图；

示例：
1）User-agent: *
Disallow: /admin/
Disallow: /abc/
注：禁止所有的搜索引擎爬取admin和abc目录及子目录；

2）User-agent: *
Allow: /admin/seo/
Disallow: /admin/
注：禁止所有搜索引擎爬取admin目录及子目录，但可以爬取admin目录下的seo
目录；(Allow必须在前面，Disallow写在后)

3）User-agent: *
Disallow: /abc/.htm$
注：禁止所有搜索引擎爬取abc目录及子目录下以.htm为后缀的url；

4）User-agent: *
Disallow: /?*
注：禁止所有搜索引擎爬取有？的页面；

5）User-agent:Baiduspider
Disallow: /.jpg$
Disallow: /.jpeg$
Disallow: /gif$
Disallow: /png$
Disallow: /.bmp$
注：禁止所有搜索引擎爬取所有图片；

6）User-agent: *
Disallow: /folder1/
User-agent: Mediapartners-Google
Allow: /folder1/
注：禁止所有搜索引擎爬取folder1，但 Mediapartners-Google 漫游器可以在页
面上显示 AdSense 广告；

7）User-agent: *
Disallow: /abc*/
注：禁止所有搜索引擎爬取以abc开头的所有目录及子目录；

其他属性：
1）指定robot协议版本号：
Robot-version: Version 2.0
2）在指定时间段搜索引擎才可以爬取指定url
Visit-time: 0100-1300 允许在凌晨1点到3点之间访问
3）限制url读取频率
Request-rate: 40/1m 0800-1300 在8点到13点之间以每分钟40次的频率访问
Robots meta标签：

   <meta name="Robots" content="all|none|index|noindex|follow|nofollow">

属性说明：
1）all：文件将被检索，且页面上的链接可以被查询；默认为all；

2）none：文件不被检索，且页面上的链接也不可以被检索；

3）index：文件将被检索；

4）follow：页面上的链接可以被检索；

5）noindex：文件不被检索；

6）nofollow：页面上的链接不被检索；

组合运用：

    1）可以抓取本页且可以顺着本页继续索引其他链接<meta name="robots" content="index,follow">也可以写成<meta name="robots" content="all">2）不可以抓取本页但可以顺着本页继续索引其他链接<meta name="robots" content="noindex,follow">3）可以抓取本页但不可以顺着本页继续索引其他链接<meta name="robots" content="index,nofollow">4）不可以抓取本页且不可以顺着本页继续索引其他链接<meta name="robots" content="noindex,nofollow">也可以写成<meta name="robots" content="none">

robots协议文件的几种写法及示例相关推荐

robots.txt文件的作用及写法（搜索引擎）
robots其实就是指Robots协议,Robots协议(也称为爬虫协议.机器人协议等)的全称是"网络爬虫排除标准"(Robots Exclusion Protocol),网站通过 ...
Ant 构建文件的一种写法
BuildDesEncryptor.xml <project name="DesEncryptor" default="execute.class" ba ...
购物网站及网页小游戏的robots协议
Robots协议 Robots协议(也称为爬虫协议.机器人协议等)的全称是"网络爬虫排除标准"(Robots Exclusion Protocol),网站通过Robots协议告诉搜 ...
robots协议是什么？对网站SEO有什么好处？
在网站优化中,robots协议一直是优化人员重视的细节,想要网站能够有更高的抓取和排名,此协议也起到很大的作用,那么robots协议是什么呢?它对网站的SEO有什么作用和好处呢?下面一起来了解一下. ...
Robots协议写法教程
Robots协议的约束力 "Robots的约束力固然仅限于自律,无强制性,但这不等于说它背后反映的精神,没有法律基础."中国社会科学院信息化研究中心秘书长姜奇平表示,美国的电子隐私 ...
什么是robots协议？网站中的robots.txt写法和作用
Robots协议(也称为爬虫协议.机器人协议等)的全称是"网络爬虫排除标准"(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以 ...
vue单文件props写法_详解Vue 单文件组件的三种写法
详解Vue 单文件组件的三种写法 JS构造选项写法 export defaul { data, methods, ...} JS class写法 @Component export default c ...
在Java中实现SFTP协议文件传输的两种解决方案
在Java中实现SFTP协议文件传输的两种解决方案 1.1 背景 1.2 关于 FTP /FTPS 1.3 关于SFTP 解决方案一:使用 JSch 库解决方案二:使用sshj 库这篇博文来聊聊在 ...
robots.txt文件详解
我们知道,搜索引擎都有自己的"搜索机器人"(ROBOTS),并通过这些ROBOTS在网络上沿着网页上的链接(一般是http和src链接)不断抓取资料建立自己的数据库. 对于网站管理 ...
SEO优化 - robots协议
前言搜索引擎都有自己的"搜索机器人"(ROBOTS),并通过这些ROBOTS在网络上沿着网页上的链接(一般是http和src链接)不断抓取资料建立自己的数据库. 网站所有者使用/ ...

robots协议文件的几种写法及示例

robots协议文件的几种写法及示例相关推荐

最新文章

热门文章