Nutch关于robot.txt的处理

在nutch中，默认情况下尊重robot.txt的配置，同时不提供配置项以忽略robot.txt。
以下是其中一个解释。即作为apache的一个开源项目，必须遵循某些规定，同时由于开放了源代码，可以简单的通过修改源代码来忽略robot.txt的限制。

From the point of view of research and crawling certain pieces of the web, and i strongly agree with you that it should be configurable. But because Nutch being an Apache project, i dismiss it (arguments available upon request). We should adhere to some ethics, it is bad enough that we can just DoS a server by setting some options to a high level. We publish source code, it leaves the option open to everyone to change it, and i think the current situation is balanced enough.
Patching it is simple, i think we should keep it like that :)

以下为修改源代码的方法：【未验证】
修改类org.apache.nutch.fetcher.FetcherReducer.java
将以下内容注释掉：

       if (!rules.isAllowed(fit.u.toString())) {// unblockfetchQueues.finishFetchItem(fit, true);if (LOG.isDebugEnabled()) {LOG.debug("Denied by robots.txt: " + fit.url);}output(fit, null, ProtocolStatusUtils.STATUS_ROBOTS_DENIED,CrawlStatus.STATUS_GONE);continue;}

Nutch关于robot.txt的处理相关推荐

robot.txt是干嘛的？
学爬虫一定会涉及到robot.txt这个文件,访问网站域名+ / + robot.txt ,即可访问这个文件. 之前看过不少byteSpider疯狂务实robot.txt爬瘫一些小站.看看这个也好 r ...
robot.txt 搜索引擎蜘蛛爬虫搜索规则
搜索引擎通过一种程序robot(又称spider),自动访问互联网上的网页并获取网页信息.您可以在您的网站中创建一个纯文本文件robots.txt,在这个文件中声明该网站中不想被robot 访问的部 ...
robot.txt 搜索引擎蜘蛛爬虫搜索规则
搜索引擎通过一种程序robot(又称spider),自动访问互联网上的网页并获取网页信息.您可以在您的网站中创建一个纯文本文件robots.txt,在这个文件中声明该网站中不想被robot 访问的部 ...
linux环境nutch的配置,linux下nutch的安装配置
Nutch,一个爬虫或者搜索引擎(加上索引的话). 现在Nutch的最新版本是Nutch2.1.Nutch所有的版本可在这个网址下载http://archive.apache.org/dist/nut ...
Cygwin,Nutch安装配置，检验是否正确(对网友守望者博客的修改---在此感谢守望者)2
前言:作者(守望者MS)在实际搭建并开发Nutch的过程中参阅很多中文资料,但内容并不详尽且有错误,于是在此记录个人实战过程,纠正一些文章错误,以详细的过程展现一次简单的二次开发流程,为初学者降低门槛 ...
Windows下Nutch的配置
Nutch是一个开源的.Java实现的搜索引擎.它提供了我们运行自己的搜索引擎所需的全部工具. Nutch可以分为2个部分: 抓取部分crawler 抓取程序抓取页面并把抓取回来的数据做成反向索引搜 ...
path r'c test.html',robot framework - robot命令参数解析
robot 命令参数解析 version > 3.0.1 原文档查看命令: robot --help robot -h -F --extension value 通过文件扩展名控制需要执行的用例 ...
swagger python自动化用例_自动生成robot自动化测试用例
#!/usr/bin/env python """解析swagger接口返回值自动生成接口自动化用例将新增的用例写入到文件末尾,已存在的用例则不重新写入"&q ...
RF：Robot命令行工具帮助文件中文译版（个人翻译）
工作需要,重回RF怀抱,对robot这个工具有使用需求,所以研究了下它的帮助文件,靠着个人和谷歌,翻译了一下帮助文件,仅供参考,如有错误,望大佬不吝指正. 全文翻译如下: robot --help R ...

Nutch关于robot.txt的处理

Nutch关于robot.txt的处理相关推荐

最新文章

热门文章