配置nutch+hadoop

1，下载nutch。如果不需要特别开发hadoop，则不需要下载hadoop。因为nutch里面带了hadoop core包以及相关配置

2，建立目录(根据自己喜好)

/nutch

/search       (nutch installation goes here) nutch安装到这里，也就是解压到这里

/filesystemhadoop的文件系统存放点

/local /crawl后放置索引用来search用的

/home     (nutch user's home directory)  如果你用系统用户，这个基本没用

/tomcat 启动nutch.war用来search索引的app

3，conf/hadoop-env.sh   一定要配置JAVA_HOME,否则系统起不来

4，配置master和slave的ssh，否则每次都要输入passwd

ssh-keygen -t rsa

然后回车即可

cp id_rsa.pub authorized_keys

(copy到其它的slave上)scp /nutch/home/.ssh/authorized_keys nutch@devcluster02:/nutch/home/.ssh/authorized_keys

5，将bin和conf下所有的.sh、 nuch、 hadoop文件  dos2unix

dos2unix /nutch/search/bin/*.sh /nutch/search/bin/hadoop

配置hadoop-size.xml

6，记住要把master文件从nutch/hadoop  copy到这个nutch中，应该是bug。也就是说启动需要这个文件，文件内容为默认的localhost即可(如果是分布式，可能需要配置)

7，格式化namenode

bin/hadoop namenode -format

8，启动：bin/start-all.sh

9，配置crawl  (以配置一个网址 lucene.apache.org为例)

cd /nutch/search

mkdir urls

vi urls/urllist.txt        http://lucene.apache.org

cd /nutch/search

bin/hadoop dfs -put urls urls

cd /nutch/search

vi conf/crawl-urlfilter.txt

change the line that reads:   +^http://([a-z0-9]*\.)*MY.DOMAIN.NAME/

to read:                      +^http://([a-z0-9]*\.)*apache.org/

10，启动crawl

bin/nutch crawl urls -dir crawled -depth 3

11，查询

bin/hadoop dfs -copyToLocal crawled /media/do/nutch/local/(crawled)   将index的东西copy到以上配置的local中，因为search不能用dfs中搜索(从文档看是这样)

12，启动nutch.war，测试

vi nutch-site.xml    nutch.war中classes下

start tomcat

注意点：

1，masters文件 nutch原来没有，需要copy到conf下

2，crawl的log4j配置默认有问题，需要增加：

hadoop.log.dir=.

hadoop.log.file=hadoop.log

3，nutch1.0 一定要配置nutch-site.xml。重新配置http.agent。default.xml里面已经存在。

问题：

1，运行hadoop程序时， 中途我把它终止了，然后再向hdfs加文件或删除文件时，出现Name node is in safe mode错误：

rmr: org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode

解决的命令：

bin/hadoop dfsadmin -safemode leave #关闭safe mode

索引命令：

bin/nutch index plainindex/paodingindexes plainindex/crawldb plainindex/linkdb plainindex/segments/20090528132511 plainindex/segments/20090528132525 plainindex/segments/20090528132602

eg：

index：

bin/nutch index crawled/indexes_new crawled/crawldb crawled/linkdb crawled/segments/20100313132517

merge：

bin/nutch merge crawled/index_new crawled/indexes_new

去重 dedup：

bin/nutch dedup crawled/index_new

中文分词：

1.对建立索引所用分词工具的修改

将下载的中文分词包放到lib目录下，改名为analysis-zh.jar(当然，你也可以不用改)。找到下面文件

src\java\org\apache\nutch\analysis\NutchDocumentAnalyzer.java

修改tokenStream方法如下

public TokenStream tokenStream(String fieldName, Reader reader) {

Analyzer analyzer;

analyzer= new MMAnalyzer();

return analyzer.tokenStream(fieldName, reader);

}

注意：由于加入信息的分析类，你需要将该类导入。使用如下语句。

import jeasy.analysis.*;

2.对查询所用分析部分的修改

src\java\org\apache\nutch\analysis\中的NutchAnalysis.jj文件

将 >

改为:| )+ >

使用javacc工具将NutchAnalysis.jj生成java文件，共会生成7个java文件，将他们拷贝到下面的文件夹中替 换原有文件。

src\java\org\apache\nutch\analysis

如何安装与使用javacc？

下载javacc并解压，然后将javacc的主目录添加到环境变量下。进入命令行，输入javacc，如果不出现不能识别该命令之类的说法，证明安装成功。

进入NutchAnalysis.jj文件所在的目录，输入javacc NutchAnalysis.jj命令就会生成7个java文件了。

3.重新编译工程文件

这里你需要用到ant工具了，那么ant工具怎么安装呢？

ant的安装与配置与 javacc类似，下载后解压，然后在path环境变量中加如指向ant下的bin文件夹的路径。

使用：从命令行进入nutch目录中，输入ant命令，它会自动根据当前目录下的build.xml进行重建。重建完毕后会在改目录下产生一个build文件夹。

4.重建后的文件替换

一、将nutch-0.x.x.job文件拷贝出来替换nutch目录下的同名文件。

二、将\build\classes\org\apache\nutch\analysis目录下的所有文件拷贝替换nutch-0.x.x.jar中org\apache\nutch\analysis目录下的文件。

三、将nutch-0.x.x.jar文件和你的分词包(我的是analysis-zh.jar)拷贝到tomcat中WEB-INF\lib下面。

5.重新爬行与建立索引，重新启动tomcat即可。

nutch搜索url过滤规则：

对于每一次(由depth决定)对url进行filter，所以要搜子页面，首页一定要通过filter，否则搜索不到。

详见：http://hi.baidu.com/ldl_java/blog/item/84d1427894231ee62f73b30a.html