网络爬虫排除协议robots.txt介绍及写法详解.
以上内容转载自:http://www.xgezhang.com/serach_engine_robots.html
Robots协议的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),它的功能是通过Robots文件告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,抓取的标准等。它以一个文本文件的形式放在网站的根目录中,用任何一个常见的文本编辑器都可以对其进行修改和编辑。对于站长来说,合理的书写robots.txt文件可以更合理的利用搜索引擎,屏蔽掉一些低质量的页面,提高网站质量和对搜索引擎的友好度。
具体写法如下:
(*为通配符)
Sitemap: 网站地图 告诉爬虫这个页面是网站地图
比如:
例1.禁止所有搜索引擎访问所有页面:
比如淘宝网就是这样写的,显然它不愿意搜索引擎收录太多的内页。
如果是允许所有搜索引擎访问,则把Disallow改为allow,或者直接在根目录放置一个空的robots.txt文件
例2.允许百度蜘蛛访问所有页面
allow:/
例3.禁止所有搜索引擎访问某些特定目录下的网站:
User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/
例4.为网站添加google site-map,比如这里添加本站的sitemap,在文件后面加上
Sitemap:http://www.xgezhang.com/sitemap.xml
写完后可以用google robots.txt检测器检测下语法是否正确,或者用一些站长工具分析一下。
如果不想自己写,网上也有robots自动生成器,也还是不错。
网络爬虫排除协议robots.txt介绍及写法详解.相关推荐
- 爬虫君子协议-robots.txt协议
文章目录 一.定义 二.用法 一.定义 robots协议是一种约定俗称的爬虫协议,由网站主人规定了该网站的哪些内容可以爬取,哪些内容不可以爬取,擅自爬取可能承担相关法律责任.之所以称之为君子协议,是因 ...
- 【python实现网络爬虫22】唯品会商品信息实战步骤详解
唯品会商品信息实战 1. 目标网址和页面解析 2. 爬虫初探 3. 爬虫实操 3.1 进行商品id信息的爬取 3.2 商品id数据url构造 3.3 商品id数据格式转化及数量验证 3.4 商品详细信 ...
- robots.txt介绍
robots.txt是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不应被搜索引擎的漫游器获取的,哪些是可以被(漫游器)获取的. ...
- Linux系统与网络、磁盘参数和日志监控等命令详解二
创作人QQ:851301776,邮箱:lfr890207@163.com, 欢迎大家一起技术交流,本博客主要是自己学习的心得体会,只为每天进步一点点! 个人座右铭: 1.没有横空出世,只要厚积一定发. ...
- DL之DilatedConvolutions:Dilated Convolutions(膨胀卷积/扩张卷积)算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
DL之DilatedConvolutions:Dilated Convolutions(膨胀卷积/扩张卷积)算法的简介(论文介绍).架构详解.案例应用等配图集合之详细攻略 目录 Dilated Con ...
- DL之ShuffleNetV2:ShuffleNetV2算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
DL之ShuffleNetV2:ShuffleNetV2算法的简介(论文介绍).架构详解.案例应用等配图集合之详细攻略 目录 ShuffleNetV2算法的简介(论文介绍) 1.论文特点 2.基于硬件 ...
- DL之ShuffleNet:ShuffleNet算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
DL之ShuffleNet:ShuffleNet算法的简介(论文介绍).架构详解.案例应用等配图集合之详细攻略 相关文章 DL之ShuffleNet:ShuffleNet算法的简介(论文介绍).架构详 ...
- DL之MobileNetV2:MobileNetV2算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
DL之MobileNet V2:MobileNet V2算法的简介(论文介绍).架构详解.案例应用等配图集合之详细攻略 目录 MobileNetV2算法的简介(论文介绍) MobileNet V2算法 ...
- DL之MobileNet:MobileNet算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
DL之MobileNet:MobileNet算法的简介(论文介绍).架构详解.案例应用等配图集合之详细攻略 目录 MobileNet算法的简介(论文介绍) 1.研究背景 2.传统的模型轻量化常用的方法 ...
最新文章
- 使用JDK自带jvisualvm监控tomcat
- python fromfile_python之numpy文件操作
- 给计算机系统的资产分配的记号被称为什么,哈工大2015计算机复试试题(25页)-原创力文档...
- VS2015编译MuPDF 1.13.0源码(详细)
- SAP Spartacus shipping address页面请求1 - Address
- [Java基础]Calendar类基础
- 小程序input实现数据双向绑定
- 【java】在jsp的js和css里面使用EL表达式取值|style里面用$取值
- 计算机画画作品 人物 游泳,夏天主题的儿童画-游泳的儿童绘画作品
- 最新CPC客户端安装教程,亲试有效
- 如何裁剪动态图片?教你三步快速裁剪GIF
- WebStorm调试
- 冷色调也能表现画面炽热感?原来还有这么多种方法~
- 安装Windows Outlook邮箱客户端
- oracle 数据库回收站,Oracle数据库的回收站
- Android AOSP 源码 编译 android5.1.1,并刷入手机
- 【编译原理入门】–编译器compiler
- 【机器学习】Decision Tree 决策树算法详解 + Python代码实战
- 如何使用补单平台搭建提高权重
- FPGA的六层电梯控制器Verilog语言(二)
热门文章
- CSS3 使用@font-face引入字体的兼容性方案及优化
- matlab求样本相关系数,matlab中样本相关系数的计算与测试
- 我的世界服务器显示大字,我的世界上面指令让界面出现字体 | 手游网游页游攻略大全...
- 订单系统设计 —— 订单管理
- 阿里云国际版购买了服务器后如何下载发票?
- Python中利用正则表达式做数据清洗(re)
- 利用python实现m4a格式到MP3的转换
- BZOJ4622 [NOI 2003] 智破连环阵
- 2022-2028全球多层共烧基板行业调研及趋势分析报告
- 适合于初学者—软路由全探索系列(一):探索 VMware 虚拟机旁路由安装及设置