Nutch的安装和配置

Nutch是一个Java实现的网络爬虫。Nutch的安装可以使用二进制包，也可以使用源代码安装。这里介绍用二进制包安装。

1. 下载apache-nutch-1.12-bin.tar.gz，并且解压，解压后会形成一个apache-nutch-1.12文件夹；

2. 编辑conf/nutch-site.xml文件：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration><property><name>http.agent.name</name><value>My Spider</value></property><property><name>plungin.folders</name><value>/opt/apache-nutch-1.12/plugins</value></property></configuration>

3. 进入apache-nutch-1.12文件夹，输入命令：

mkdir -p ./urls
cd urls
touch seed.txt

编辑seed.txt文件，加上你想要抓取的网站，如：

http://xxxx.com/

编辑conf/regex-urlfilter.txt文件，加上一个正则表达式：

# accept anything else
+^http://([a-z0-9]*\.)*xxxx.com/

这样，就会抓取http://xxxx.com/这个网站的所有网页。

4. 新建一个crawls目录，运行：

bin/crawl urls/seed.txt crawls 10

这样就可以进行抓取网页了，其中crawls是抓取数据存放的目录，10是轮数。

5. 抓取结束以后，会在crawls目录下产生三个文件夹：crawldb、linkdb、segments，使用下面的命令将二进制文件导出为文本文件：

bin/nutch readseg -dump ./crawls/segments/20170328163131 ./crawls/segments/2017032816313_dump

然后就可以用gedit打开文本文件查看抓取结果了。

以上就是Nutch的安装和配置的全部内容了，更多内容请关注：CPP学习网_CPP大学
本文固定链接：CPP学习网_CPP大学-Nutch的安装和配置

转载于:https://www.cnblogs.com/cppys/p/6640231.html

Nutch的安装和配置相关推荐

Maven安装与配置（最实用！！！）eclipse中配置maven
Maven安装与配置一.需要准备的东西 JDK Eclipse(本章主要是在eclipse中进行配置maven) Maven程序包二.下载与安装 1. 前往maven下载最新版的Maven程序: ...
Portainer 安装与配置
文章目录 Portainer 安装与配置一.介绍二.安装使用 1.单机运行 2.基于swarm集群方式运行 Portainer 安装与配置一.介绍 Portainer 是一个开源.轻量级Do ...
Myeclipse安装、配置、测试
Myeclipse安装.配置.测试(win7_64bit) 目录 1.概述 2.本文用到的工具 3.安装与激活 4.JavaSE开发测试(确保JDK已正确安装) 5.JavaEE开发测试(确保服务器和 ...
[网摘学习]在Ubuntu上安装和配置OpenStack Nova之二
再收藏一份Openstack的文章,这两天的操作与此相同.但其中出现的问题还需要查找原因.待个人继续学习研究. 原文参考:http://www.linuxde.net/2011/11/1599.htm ...
centos6.5 php5.2,Linux中PHP安装与配置(CentOS-6.5：php-5.2.13)
1 PHP简介 PHP(PHP: Hypertext Preprocessor的缩写,中文名:"超文本预处理器")是一种通用开源脚本语言.语法吸收了C语言.Java和Per ...
java jdk 1.8 安装_下载、安装、配置 java jdk1.8
近期配置react native的开发环境,所以就从配置环境开始.rn的环境配置有那么几项,其中重要的一个就是java jdk(Java Development Kit 的缩写),那么以下就是下载.安 ...
mysql安装好需要优化配置一下_Mysql的安装、配置、优化
Mysql的安装.配置.优化安装步骤 1.先单击中的安装文件,如果是win7系统,请选择以管理员的方式运行. 2.大概需要30秒的时间,开始进入安装界面.请先把标红的打勾,好进行下一步的动作. 3. ...
windows下opencv安装及配置（vs2010环境）
opecv下载前往官方下载地址 https://opencv.org/releases/ opencv安装及配置解压,会得到一个opencv文件夹,可将提取出的文件移动到任意位置,我将其放在F盘. ...
Elasticsearch 6.3.1、Head插件安装及配置
安装Elasticsearch Elasticsearch下载地址:https://www.elastic.co/cn/downloads/elasticsearch 也可以直接使用wget下载到某目 ...

Nutch的安装和配置

Nutch的安装和配置相关推荐

最新文章

热门文章