robots.txt文件的Disallow和Allow行的区别

2019独角兽企业重金招聘Python工程师标准>>>

robots .txt文件Disallow和Allow设置顺序的不同会产生不一样的效果。

拿个robots .txt语法的例子 ：

（1）搜索引擎可以访问/www/seo的文件夹或者URL
User-agent: *
Allow : /www/seo
Disallow : /www/

（2）顺序改变后
User-agent: *
Disallow : /www/
Allow : /www/seo
这样遵守robots规则的搜索引擎就访问不到/www/seo这个路径了。

robots .txt几个语法 命令解释：

1> User-agent: *【定义搜索引擎。一般情况下，网站里面都是：User-agent: *，这里*的意思是所有，表示定义所有的搜索引擎。比如，我想定义百度，那么就是User-agent: Baiduspider;定义google，User-agent: Googlebot】

2> Disallow 【禁止爬取】

3> Allow 【允许】

4> $ 结束符【Disallow: .aspx$ 这句话就是屏蔽所有的以.aspx结尾的文件，不管它前面是什么样子】

5> * 【0或多个任意字符。Disallow: *?* 这个是屏蔽所有带“?”的文件，可以这样屏蔽所有的动态路径】

总结来说就是robots.txt 这个文件里语法的顺序是从上到下匹配，先允许后禁止。另外注意：User-agent，Allow，Disallow的“:”后面有一个字符的空格。

总结+复习..

转载于:https://my.oschina.net/yonghan/blog/468312

robots.txt文件的Disallow和Allow行的区别相关推荐

什么是robots.txt文件?
一．什么是robots.txt文件? 搜索引擎通过一种程序robot(又称spider),自动访问互联网上的网页并获取网页信息. 您可以在您的网站中创建一个纯文本文件robots.txt,在这个文件中 ...
robots.txt文件详解
我们知道,搜索引擎都有自己的"搜索机器人"(ROBOTS),并通过这些ROBOTS在网络上沿着网页上的链接(一般是http和src链接)不断抓取资料建立自己的数据库. 对于网站管理 ...
织梦根目录感染abc.php,织梦SEO优化：织梦dedecms根目录下robots.txt文件设置详解！ - 张俊SEO...
对于dedecms这个建站程序,我想大多数站长都曾经用过,他功能之强大,几乎能秒杀一切内容管理系统,而且所有页面都能生成静态的html文件,对于SEO优化也是相当有优势的,说道SEO优势,就不得不提到 ...
什么是robots.txt文件
一.什么是robots文件 Robots.txt文件是网站跟爬虫间的协议,对于专业SEO并不陌生,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,也就是说robots.txt是搜索引擎中访问 ...
搜索引擎蜘蛛及网站robots.txt文件详解
搜索引擎都有自己的"搜索机器人"(ROBOTS),并通过这些ROBOTS在网络上沿着网页上的链接(一般是http和src链接)不断抓取资料建立自己的数据库. 对于网站管理者和内容提 ...
robots.txt文件的解析及过滤
什么是robots.txt文件? robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不能被搜索引擎 ...
关于网站根目录下面robots.txt文件的作用
谈到robots.txt文件,首先我们必须了解什么是robots协议,Robots协议(也称为爬虫协议.机器人协议等)的全称是"网络爬虫排除标准"(Robots Exclusion ...
zblog php robots,zblog的robots.txt怎么写？zblog的robots.txt文件示例下载
robots.txt对于比较seo的站长来说是一个很重要的东西,经常有朋友再问zblog的robots怎么写?本文就来详细说明下. 首先来解释下robots.txt是什么?robots.txt有什么作 ...
robots.txt文件里面怎样屏蔽蜘蛛
robots.txt文件,是每个网站都可以用来跟,遵循robots协议的搜索引擎蜘蛛,进行对话的一段代码. 我们先来看一个列子,让搜索引擎抓取所有的内容,代码如下: User-agent: * All ...

robots.txt文件的Disallow和Allow行的区别

robots.txt文件的Disallow和Allow行的区别相关推荐

最新文章

热门文章