disallow php,在robots.txt中Disallow: /abc和Disallow: /abc/的区别

站长：不就是多了条斜杠吗，能有多大不同？

小编：很多新手站长搞不明白这其中的作用，其实作用区别很大的呦。

Disallow: /abc表示禁止蜘蛛索引网站根目录下所有以abc开头的文件夹和文件

举例：

/abc.html

/abcde.php

/abc/123.html

/abc/def/123.html

/abc/def/

/abcde/abc/

等文件均不可索引,也就是说只要在网站根目录下以abc开头就禁止蜘蛛索引

Disallow: /abc/表示禁止蜘蛛索引网站根目录的abc文件夹，以及abc文件夹下的文件

举例：

/abc/123.html

/abc/def/123.html

/abc/def/

不可被蜘蛛索引

简单一句话总结就是：一个属于针对，一个属于包含。

Disallow: /abc 禁止了根目录下所有以abc开头的文件夹和文件

Disallow: /abc/ 则只针对根目录下的abc文件夹以及abc文件夹下的子目录和文件

以下内容来自百度官方“百度搜索帮助中心-禁止搜索引擎收录的方法”

disallow php,在robots.txt中Disallow: /abc和Disallow: /abc/的区别相关推荐

rebots css,我的robots.txt中涉及到.htaccss文件的奇怪https/http错误
我设置了一个网站,就像我之前做过很多次,但是当你真的在谷歌网站上得到一个erorr.我的robots.txt中涉及到.htaccss文件的奇怪https/http错误 clrhorizon.com/ ...
ROBOTS.TXT在SEO优化中的运用（ROBOTS.TXT SEO优化实战）
2019独角兽企业重金招聘Python工程师标准>>> 豆瓣网的robots.txt中有Crawl-delay.Visit-time.Request-rate,好多人搞不清楚这是什么 ...
什么是robots.txt文件?
一．什么是robots.txt文件? 搜索引擎通过一种程序robot(又称spider),自动访问互联网上的网页并获取网页信息. 您可以在您的网站中创建一个纯文本文件robots.txt,在这个文件中 ...
怎样写robots.txt实例
资料一 1.robots.txt文件是什么 robots.txt是一个纯文本文件,是搜索引擎中访问网站的时候要查看的第一个文件.robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的.每 ...
Robots.txt和Robots META
Robots Text File Robots.txt robots.txt是一套指示搜索引擎(蜘蛛)如何抓取你的网页内容的一张地图,他告诉蜘蛛哪些需要抓取,哪些不要抓取(当然,这只是针对那些遵守这个 ...
小心robots.txt影响蜘蛛的爬行
相信拥有入门SEO常识的站长都知道,在网站根目录下面写一个robots.txt文件来阻止蜘蛛爬行那些我们并不想被搜索引擎抓取的网页,搜索引擎建议站长使用robots文件的初衷是为了让站长可以主动的控制 ...
Robots.txt 协议——百度之星
题目描述搜索引擎是靠 Web Robot (又称 Spider )来收集互联网上浩如烟海的网页的. Spider 就像一个旅行家一般,不知疲倦地奔波于万维网的空间,将遇到的页面收集下来供搜索引擎索 ...
robots.txt介绍
robots.txt是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不应被搜索引擎的漫游器获取的,哪些是可以被(漫游器)获取的. ...
web渗透-robots.txt的用途
在web渗透过程中,前期的信息收集时,robots.txt是一个很重要的目录,可以帮助我们查看网站的敏感路径.敏感文件等,对于robots.txt,你知道多少呢? robots.txt是一种协议,用来 ...

disallow php,在robots.txt中Disallow: /abc和Disallow: /abc/的区别

disallow php,在robots.txt中Disallow: /abc和Disallow: /abc/的区别相关推荐

最新文章

热门文章