1．Nutch简介

Apache Nutch is ahighly extensible and scalable open source web crawler softwareproject—wikipedia。

Nutch是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。

Nutch的组成：爬虫crawler和查询searcher。Crawler主要用于从网络上抓取网页并为这些网页建立索引。Searcher主要利用这些索引检索用户的查找关键词来产生查找结果。两者之间的接口是索引，所以除去索引部分，两者之间的耦合度很低。Crawler和Searcher两部分尽量分开的目的主要是为了使两部分可以分布式配置在硬件平台上，例如将Crawler和Searcher分别放在两个主机上，这样可以提升性能。

2.Nutch安装

2.1安装虚拟机与Ubuntu（略）

2.2安装JDK与配置环境

(1) sudo apt-get update

(2) sudo apt-getinstall default-jdk

(3)配置环境变量： sudo gedit ~/.bashrc

进入编辑框，在文件的末尾添加四行代码：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

（4）输入完成后，点击右上角保存，然后关闭

执行命令：

source ~/.bashrc

（5）验证环境配置结果，出现下图结果，表示配置成功

（6）注意：不可以省略编辑bashrc这一步，如果省略掉，会影响后面的程序运行。

2.3Nutch的下载/编译/配置

（1）下载：首先安装svn工具，然后通过svn下载代码，本文采用nuthc的版本为1.7。下载完成后，如图所示。

sudo apt install subversion

svn co https://svn.apache.org/repos/asf/nutch/tags/release-1.7

（2）编译：

修改文件：build.xml

找到这一块，加入这一行

然后将一个jar包加入lib文件夹中

编译需要Ant,所以首先要安装Ant。输入ant开始编译

sudo apt install ant

cd release-1.7

ant

编译过程可能会出现问题：

大概是源中有的包缺失了，可以选择修改源。即更改value后面的网址就行了。

不过这种办法试过之后可能依然不行，那么问题的关键来了。你需要换个网络。这和我软微的网络有的时候没法访问百度文库是一样的。本人在尝试过程中，断掉了无线网，用手机开了热点，一次就编译成功了。

（3）配置：主要配置conf文件夹下的这两个文件

nutch-site.xml 在value标签内填入任意字符即可

nutch-default.xml

2.4抓取网页

1. 进入runtime->local目录

命令： cd runtime/local

2. 建一个目录保存需要抓取的URL信息

mkdir urls

vi urls/url.txt

将需要抓取的URL写入url.txt中：

3. 使用Crawl命令抓取网页

nohup bin/nutch crawl urls -dir data -depth 3 -threads 100 &

runtime/local文件夹下的nohup.out存储爬取结果

NUTCH的安装与测试相关推荐

my SQL下载安装，环境配置，以及密码忘记的解决，以及navicat for mysql下载，安装，测试连接...
一.下载在百度上搜索"mysql-5.6.24-winx64下载" 二.安装选择安装路径,我的路径"C:\Soft\mysql-5.6.24-winx64" ...
http_load安装与测试参数分析
http_load安装与测试参数分析 http_load以并行复用的方式运行,用以测试 web 服务器的吞吐量与负载.但是它不同于大多数压力测试工具,它可以以一个单一的进程运行,一般不会把客户机搞死. ...
Nutch的安装和配置
Nutch是一个Java实现的网络爬虫.Nutch的安装可以使用二进制包,也可以使用源代码安装.这里介绍用二进制包安装. 1. 下载apache-nutch-1.12-bin.tar.gz,并且解压, ...
nginx 没有sbin目录_CentOS7下Nginx+ModSecurity配置、安装、测试教程
" 最近在工作上遇到一点问题,问了大佬.百度,都没有很好地解决:经过大量搜索查阅以及试验,终于将问题解决.于是写下这篇文章以提醒自己,也可供读者参考." 环境:CentOS-7-x ...
AutoBench+Httperf的安装、测试
首先安装Httperf.主要是Httperf网路上给出的url均无法访问,因此在GitHub上找的源码工程,进行安装. 接下来介绍安装步骤,从Github下载下来的httperf包是zip. unzi ...
安装并测试nvenc linux sdk
2019独角兽企业重金招聘Python工程师标准>>> nvidia在cuda之后推出一种官方生成更好视频处理技术nvenc. 网上相关资料很少, 也不知道这个东西到底怎么样,自己测 ...
appium for mac 安装与测试ios说明
一．安装安装dmg,可以自己下载appium-1.4.0.dmg或者找rtx我要,文件过大不能添加附件. Appium提供了一个doctor,运行appium-doctor 如果有问题,Fix it ...
Faste R-CNN的安装及测试
一.拉取源码下载 fast-rcnn 因下载解压后 caffe-fast-rcnn是空文件夹,故需要单独下 caffe-fast-rcnn-bcd9b4eadc7d8fbc433aeefd564e8 ...
Faster R-CNN的安装及测试（Python版本和Matlab版本）
rbg的Python版本一.拉取源码 git clone --recursive https://github.com/rbgirshick/py-faster-rcnn.git 拉取完成后,在/h ...

NUTCH的安装与测试