robots.txt存放的位置robots.txt文件的作用及写法 (搜索引擎)

robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt

1、 robots.txt放置位置：网站根目录下,如果你的域名是解析到web，那么robots文件就房在web下。

对于主域名下有多个2级域名的问题，应该是每一个二级域名都有自己独立的robots文件和sitemap。

例如：当spider访问一个网站http://www.jiangxiaoyu.com时，首先会检查该网站中是否存在http://www.jiangxiaoyu.com/robots.txt，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。

2、 robots.txt语法：

1)User-agent 定义搜索引擎。一般情况下，网站里面都是：User-agent: *，这里*的意思是所有，表示定义所有的搜索引擎。比如，我想定义百度，那么就是User-agent: Baiduspider;定义google，User-agent: Googlebot。

2)Disallow 禁止爬取。如，我想禁止爬取我的admin文件夹，那就是Disallow: /admin/。禁止爬取admin文件夹下的login.html，

Disallow: /admin/login.html。

3)Allow 允许。Disallow禁止。例如禁止admin文件夹下的所有文件，除了.html的网页，

Allow: /admin/.html$

Disallow: /admin/。

4)$ 结束符。例：Disallow: .php$ 这句话的意思是，屏蔽所有的以.php结尾的文件，不管前面有多长的URL，如abc/aa/bb//index.php也是屏蔽的。

5)* 通配符符号0或多个任意字符。例：Disallow: *?* 这里的意思是屏蔽所有带“?”文件，也是屏蔽所有的动态URL。

6)Sitemap: 网站地图告诉爬虫这个页面是网站地图

Sitemap分类： ①首页+分类页

robots.txt存放的位置robots.txt文件的作用及写法 (搜索引擎)相关推荐

robots.txt文件的作用及写法（搜索引擎）
robots其实就是指Robots协议,Robots协议(也称为爬虫协议.机器人协议等)的全称是"网络爬虫排除标准"(Robots Exclusion Protocol),网站通过 ...
C++：include：理解 C++ 中的头文件和源文件的作用
关于头文件和源文件我们主要围绕: C++编译模式, 声明和定义区别, 符号只能被定义一次, 符号被定义在多个源文件,但是一个源文件只能定义一次这四个方面来分析论述 1:C++ 编译模式在一个C++ ...
robots.txt 指定 Sitemap 和robots Meta标签
robots.txt 指定 Sitemap 和robots Meta标签 robots.txt 指定 Sitemap 和robots Meta标签 http://www.mp322.com/robot ...
verilog从txt中读取_Verilog中的文件操作
1.文件打开和关闭:首先定义integer指针,然后调用$fopen(file_name,mode)任务,不需要文件时,调用$fopen(file_name) 常用mode包括 "w&quo ...
C语言：有N个学生，每个学生有3门课程的成绩，从键盘输入以上数据（包括学号、姓名、3门课程的成绩），计算出平均成绩，将原有数据和计算出的平均成绩存放在磁盘文件stu_list.txt中。
/*有N个学生,每个学生有3门课程的成绩,从键盘输入以上数据(包括学号.姓名.3门课程的成绩),计算出平均成绩,将原有数据和计算出的平均成绩存放在磁盘文件stu_list.txt中.*/ /*以5个学 ...
将多个txt文本文件合并成一个txt文件
将多个txt文本文件合并成一个txt文件方法一:批处理文件有文档1.txt.2.txt 新建一个文档:合并文档.txt,在该合并文档中输入 copy/b 1.txt+2.txt 3.txt 将合并 ...
【XML文件数据预处理】获取xml文件中所有标签名称及数量||提取某个特定标签的数量||生成包含某个标签的图片索引txt并复制图片到指定文件夹
目录 1.获取xml文件中所有标签名称及数量 2.提取某个特定标签的数量 3.生成包含某个标签的图片索引txt并复制图片到指定文件夹 1.获取xml文件中所有标签名称及数量 [需求]自己标注的数据集, ...
python中txt转成csv_Python实现txt文件转csv格式
码农公社 210.net.cn 210= 1024 10月24日一个重要的节日--码农(程序员)节把txt文件转成成csv文件格式,通过手动打开excel文件,然后导入txt来生产csv文件. 现在 ...
python读txt转array_np.array和txt文件的转换
np.array保存为txt 格式 numpy.savetxt(fname, X, fmt='%.18e', delimiter=' ', newline='n', header='', footer ...
在Python中以扩展名.txt查找目录中的所有文件
如何在python中扩展名为.txt的目录中找到所有文件? #1楼 import os import sys if len(sys.argv)==2:print('no params')sys.exi ...

robots.txt存放的位置robots.txt文件的作用及写法 (搜索引擎)

robots.txt存放的位置robots.txt文件的作用及写法 (搜索引擎)相关推荐

最新文章

热门文章