Robots.txt - 禁止爬虫(转)
Robots.txt - 禁止爬虫
robots.txt用于禁止网络爬虫访问网站指定目录。robots.txt的格式采用面向行的语法:空行、注释行(以#打头)、规则行。规则行的格式为:Field: value。常见的规则行:User-Agent、Disallow、Allow行。
User-Agent行
User-Agent: robot-name User-Agent: *
Disallow和Allow行
Disallow: /path Disallow: # 空字符串,起通配符效果,全禁止Allow: /path Allow: # 空字符串,起通配符效果,全允许
搜索引擎的User-Agent对应名称
搜索引擎 | User-Agent值 |
---|---|
googlebot | |
百度 | baiduspider |
雅虎 | slurp |
MSN | msnbot |
Alexa | is_archiver |
我在Linux上抓包观察到的一些搜索引擎访问记录:
# tcpdump -n -nn -A -l -s1024 'tcp port 80'|grep User-Agent User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) User-Agent: Googlebot-Image/1.0 User-Agent: Feedfetcher-Google; (+http://www.google.com/feedfetcher.html; 5 subscribers; feed-id=4619555564728728616) User-Agent: Mozilla/5.0(compatible; Sosospider/2.0; +http://help.soso.com/webspider.htm) User-Agent: Mozilla/5.0 (compatible; YoudaoBot/1.0; http://www.youdao.com/help/webmaster/spider/; ) User-Agent: Mozilla/5.0 (compatible; JikeSpider; +http://shoulu.jike.com/spider.html)
JikeSpider是即刻搜索(人民搜索)。
robots.txt的补充
如果你没有对网站根目录的写入权限(无法建立robots.txt文件),或你想要某个指定的网页不被搜索引擎收录,可以使用元标签阻止爬虫访问:
<meta name="robots" content="noindex"> <!-- 阻止所有爬虫 --> <meta name="googlerobot" content="noindex"> <!-- 阻止Google收录 -->
robots元标记的默认值为"index,follow",它的取值可以是(来自Google站长帮助):
- noindex
- 防止网页被编入索引。
- nofollow
- 防止googlebot从此页面中跟踪链接。
- noarchive
- 防止Google显示网页的快照链接。
- noimageindex
- 不被Google图片搜索索引。
现实中的robots.txt
淘宝屏蔽百度
淘宝屏蔽了百度抓取(2008年9月),http://www.taobao.com/robots.txt的内容:
User-agent: Baiduspider Disallow: / User-agent: baiduspider Disallow: /
百度与360的搜索引擎之争
2012年8月,360推出搜索引擎,并与百度发生正面冲突。百度工程师跑出来说360违反robots协议,偷窃百度内容。以百度知道为例,http://zhidao.baidu.com/robots.txt的内容大致是这样:
User-agent: Baiduspider Disallow: /w? Allow: / User-agent: Googlebot User-agent: MSNBot User-agent: Baiduspider-image User-agent: YoudaoBot User-agent: Sogou web spider User-agent: Sogou inst spider User-agent: Sogou spider2 User-agent: Sogou blog User-agent: Sogou News Spider User-agent: Sogou Orion spider User-agent: JikeSpider User-agent: Sosospider Allow: / User-agent: * Disallow: /
也就是说对360爬虫而言,应该走最后一条规则,也就是禁止抓取百度知道所有内容。但从360搜索看,有百度知道的内容。
Robots.txt - 禁止爬虫(转)相关推荐
- Robots.txt - 禁止爬虫
robots.txt用于禁止网络爬虫访问网站指定目录.robots.txt的格式采用面向行的语法:空行.注释行(以#打头).规则行.规则行的格式为:Field: value.常见的规则行:User-A ...
- robots.txt网站爬虫文件设置
目录: 什么是robots.txt robots.txt使用误区 robots.txt使用技巧 什么是robots.txt? robots.txt是搜索引擎中访问网站的时候要查看的第一个文件.Robo ...
- 通过Robots.txt禁止搜索引擎收录的方法
什么是robots.txt文件? 搜索引擎通过一种程序robot(又称spider),自动访问互联网上的网页并获取网页信息. 您可以在您的网站中创建一个纯文本文件robots.txt,在这个文件中声明 ...
- robots.txt文件详解
我们知道,搜索引擎都有自己的"搜索机器人"(ROBOTS),并通过这些ROBOTS在网络上沿着网页上的链接(一般是http和src链接)不断抓取资料建立自己的数据库. 对于网站管理 ...
- 搜索引擎蜘蛛及网站robots.txt文件详解
搜索引擎都有自己的"搜索机器人"(ROBOTS),并通过这些ROBOTS在网络上沿着网页上的链接(一般是http和src链接)不断抓取资料建立自己的数据库. 对于网站管理者和内容提 ...
- robots.txt 指定 Sitemap 和robots Meta标签
robots.txt 指定 Sitemap 和robots Meta标签 robots.txt 指定 Sitemap 和robots Meta标签 http://www.mp322.com/robot ...
- 【谷歌推网页爬虫新标准,开源robots.txt解析器】
https://www.toutiao.com/a1638031116246019 [谷歌推网页爬虫新标准,开源robots.txt解析器] 对于接触过网络爬虫的人来说 robots.txt 绝不陌生 ...
- 谷歌推网页爬虫新标准,开源robots.txt解析器
鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 对于接触过网络爬虫的人来说 robots.txt 绝不陌生,这一存放于网站根目录下的 ASCII 码文件标明了网站中哪些内容是可以抓取的, ...
- Linux企业级项目实践之网络爬虫(29)——遵守robots.txt
Robots协议(也称为爬虫协议.机器人协议等)的全称是"网络爬虫排除标准"(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以 ...
最新文章
- shell中竖线的作用_如何在 Linux 中安装、配置和使用 Fish Shell?
- 通过sessionid获取session php,php如何返回sessionID和如何通过sessionID获取相关的session...
- python使用matplotlib可视化雷达图(polar函数可视化雷达图、极坐标图、通过径向方向来显示数据之间的关系)
- Oracle-Oracle数据库结构
- kafka 启动_深入理解Kafka服务端之Acceptor线程是如何启动和工作的
- 山东青岛职称计算机报名时间2015,青岛市2015年第二次职称计算机考试时间
- 求生欲强烈!HTC官方回应并未退出中国市场
- 残差网络ResNet
- oracle里面的degree,收集统计信息degree不生效的问题
- 盘点OLCF的超级计算机
- 拓端tecdat|R语言使用Metropolis- Hasting抽样算法进行逻辑回归
- Arcgis制作行政区划矢量文件(shp格式)
- 金蝶KIS/K3各版本下载地址
- C# RestClient查询Elasticsearch(附带账号密码)
- LeetCode Problems 903
- POJ 3764 DFS+trie树
- 中科大计算机本科毕业论文范文,中科大本科生毕业论文格式.pdf
- VXI和PXI的区别
- vue的props父向子传值
- Jenkins2 流水线核心语法
热门文章
- Devexpress 之gridControl
- Linux下安装Foxit Reader
- requestmapping配置页面后_@RequestMapping使用须知
- illegal base64 character 3a_双11华硕多款产品再送豪礼 高端硬件通吃最新3A大作
- SQLite中的WHERE子句
- NMAP输出结果中CPE的含义
- iOS 9音频应用播放音频之第一个ios9音频实例
- Unity 2D游戏开发快速入门(内部资料)
- 如何维持手机电池寿命_一块能用百年的手机电池将诞生,你愿意花高价购买吗?...
- scss安装_安装了这9个免费PS插件后,终于能正常时间下班了……