关于网站根目录下面robots.txt文件的作用
谈到robots.txt文件,首先我们必须了解什么是robots协议,Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。
当一个搜索机器人(可以理解)访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,那么搜索机器人就沿着链接抓取。
robots.txt文件的写法:
User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址
Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。
Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片
Sitemap: 网站地图 告诉爬虫这个页面是网站地图
其它属性
1. Robot-version: 用来指定robot协议的版本号
例子: Robot-version: Version 2.0
2.Crawl-delay:雅虎YST一个特定的扩展名,可以通过它对我们的抓取程序设定一个较低的抓取请求频率。您可以加入Crawl-delay:xx指示,其中,“XX”是指在crawler程序两次进入站点时,以秒为单位的最低延时。
3. Visit-time:只有在visit-time指定的时间段里,robot才可以访问指定的URL,否则不可访问.
例子: Visit-time: 0100-1300 #允许在凌晨1:00到13:00访问
4. Request-rate: 用来限制URL的读取频率
例子: Request-rate: 40/1m 0100 - 0759 在1:00到07:59之间,以每分钟40次的频率进行访问
Request-rate: 12/1m 0800 - 1300 在8:00到13:00之间,以每分钟12次的频率进行访问
转载于:https://blog.51cto.com/suiwnet/1406797
关于网站根目录下面robots.txt文件的作用相关推荐
- robots.txt文件的作用及写法 (搜索引擎)
robots其实就是指Robots协议,Robots协议(也称为爬虫协议.机器人协议等)的全称是"网络爬虫排除标准"(Robots Exclusion Protocol),网站通过 ...
- 织梦根目录感染abc.php,织梦SEO优化:织梦dedecms根目录下robots.txt文件设置详解! - 张俊SEO...
对于dedecms这个建站程序,我想大多数站长都曾经用过,他功能之强大,几乎能秒杀一切内容管理系统,而且所有页面都能生成静态的html文件,对于SEO优化也是相当有优势的,说道SEO优势,就不得不提到 ...
- 什么是robots协议?网站中的robots.txt写法和作用
Robots协议(也称为爬虫协议.机器人协议等)的全称是"网络爬虫排除标准"(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以 ...
- 如何让新网站不被(禁止所有)搜索引擎收录 robots.txt 文件设置
robots.txt文件必须放在网站根目录下 robots.txt文件名小写 指令如下: User-agent: * Disallow: / 此指令代表禁止所有的搜索引擎抓取网站的任何部分.此指令常用 ...
- 浅谈Robots.txt文件给网站带来的好处
作为一名web优化职员,我们都很清楚robots.txt文件对我们网站的需要性,Robots.txt文件只不过一个纯文本文件,它就像web地图异样,给搜寻引擎指明线路,当蜘蛛搜索一个站点时,它起首蒲伏 ...
- 搜索引擎蜘蛛及网站robots.txt文件详解
搜索引擎都有自己的"搜索机器人"(ROBOTS),并通过这些ROBOTS在网络上沿着网页上的链接(一般是http和src链接)不断抓取资料建立自己的数据库. 对于网站管理者和内容提 ...
- robots.txt文件的解析及过滤
什么是robots.txt文件? robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不能被搜索引擎 ...
- zblog php robots,zblog的robots.txt怎么写?zblog的robots.txt文件示例下载
robots.txt对于比较seo的站长来说是一个很重要的东西,经常有朋友再问zblog的robots怎么写?本文就来详细说明下. 首先来解释下robots.txt是什么?robots.txt有什么作 ...
- robots.txt文件详解
我们知道,搜索引擎都有自己的"搜索机器人"(ROBOTS),并通过这些ROBOTS在网络上沿着网页上的链接(一般是http和src链接)不断抓取资料建立自己的数据库. 对于网站管理 ...
最新文章
- 清华天机AI芯片登Nature封面:全球首款异构融合类脑芯片,实现自行车无人驾驶...
- 创建即时通信服务器的工具 openfire 简介
- c#中结构体和类的比较
- java下拉文本框_java swing 下拉框与文本框
- 3天撸了一套SpringBoot+Dubbo+Sentinel秒杀系统,爽!
- ipv6详解_modbus之libmodbus库详解
- mac 截图快捷键
- 对2016年android就业的一些看法
- Java为何能一次编写,到处运行
- Java常用实现八种排序算法与代码实现
- DSP 基于 TMS320F2803x 的 I2C 上的 PMBus 的软件应用
- Monte Carlo Algorithms
- GIN日志和日志格式
- 百度收录如何API提交(java、python)
- 最新手机语音助手的调研
- 微信内置浏览器在ios10中不能播放视频问题(无解)
- Python类传参报错-TypeError:takes 2 positional arguments but 3 were given
- 微信活码裂变系统 利器
- 集合 - Java篇
- 需求疲软?Apple Face ID供应商大幅削减收入预测
热门文章
- 分子排列不同会导致_生物信息遇上Deep learning(7): ReLeaSE--强化学习做药物分子设计...
- python写一个文件下载器_python使用tcp实现一个简单的下载器
- laravel翻看php日志,关于Laravel的日志用法
- oracle查询各个池的使用率,oracle查询连接数、并发数、共享池大小
- 设置响应主体格式php,Laravel如何实现适合Api的异常处理响应格式
- 周五话运营 | 做个了解用户的精细化运营喵
- 互联网运营人员不得不知的14款工具神器
- BIM机器人来袭、你害怕了吗
- AngularJs angular.uppercase、angular.lowercase、angular.fromJson、angular.toJson
- hdu5126stars