nutch mysql hadoop_nutch2.2.1+ hadoop1.2.1 + mysql5.6.13

1、首先搭建好hadoop环境，具体过程不详细说了，网上的教程很多。

2、下载nutch，在其目录下面运行ant，将会产生runtime目录。然后配置nutch-site.xml等文件，可以参考http://wiki.apache.org/nutch/NutchHadoopTutorial。

注意的是runtime下面有一个local目录和一个deploy目录，一般博客写的都是在local目录下面运行的，这个是单机运行。而deploy目录下面运行是分布式运行。

3、nutch连接数据库mysql。只是需要修改几个配置文件即可，还要注意编码问题。

4、分布式下面运行nutch。是在deploy目录下面运行hadoop jar apache-nutch-${version}.job org.apache.nutch.crawl.Crawl urls -dir crawl -depth 3 -topN 5。我当时参考上面这个英文的文档运行，遇到了很多问题，首先，文档中的命令是有问题的。一直报错不能找到org.apache.nutch.crawl.Crawl这个类。我把classPath都配置了，还是不行，后来一看src下面是org.apache.nutch.crawl.Crawler。

当然其中还有各种问题，有些可能忘记了。

nutch mysql hadoop_nutch2.2.1+ hadoop1.2.1 + mysql5.6.13相关推荐

centos akonadi mysql,MySQL数据库之在CentOS7上安装MySQL5.7
本文主要向大家介绍了MySQL数据库之在CentOS7上安装MySQL5.7 ,通过具体的内容向大家展现,希望对大家学习MySQL数据库有所帮助. 获取RPM包 # wget https://dev. ...
mysql 5.1 for linux_linux下安装mysql5.1.68
Linux下安装mysql-5.1.68.tar 系统环境是Centos5.8的因为mysql5.5.*以上版本需要安装cmakce 现在安装这个5.1.*版本的数据库 1.首先创建账户和用户组 g ...
centos7 mysql libssl_centos7.2安装mysql5.7.13及ssl主从复制
centos7.2安装mysql5.7.13 一.MySQL 5.7主要特性: 原生支持Systemd 更好的性能:对于多核CPU.固态硬盘.锁有着更好的优化更好的InnoDB存储引擎更为健壮的复 ...
nutch mysql solr_Nutch2.1+mysql+solr3.6.1+中文网站抓取
1.mysql 数据库配置 linux mysql安装步骤省略. 创建数据库与表 [sql] view plaincopyprint? CREATE DATABASE nutch DEFAULT CH ...
Django3.0 +Python3 连接mysql遇到django.core.exceptions.ImproperlyConfigured: mysqlclient 1.3.13 or newer
使用idea 创建了一个Django项目,不想使用默认的数据库进行操作,想切换成mysql数据,在此遇到了一些问题特此记录. 按照网上所说使用pymysql进行数据库连接操作,安装并且配置完毕后,在执 ...
mysql 5.6 binlog_format_ROW 格式binlog 在MySQL5.6上的数据恢复实验
5.6和5.7版本的MySQL,有个参数binlog_row_image,默认值为FULL,表示记录的是全部的binlog操作日志(仅在binlog_format=ROW时候生效).此外binlog_ ...
mysql 创建库 5.7_MySQL数据库之MySQL5.7创建用户时报错
本文主要向大家介绍了MySQL数据库之MySQL5.7创建用户时报错 ,通过具体的内容向大家展现,希望对大家学习MySQL数据库有所帮助. 1 故障现象: 在创建用户时候,提示以下错误: root@l ...
mysql tree 修改_13.1 设置更改root密码 13.2 连接mysql 13.3 mysql常用命令
更改root密码 ps aux |grep mysql //先查看一下mysql是否启动了 /etc/init.d/mysqld start //启动mysql ps aux |grep ...
xp 安装mysql数据库_Windows XP系统中安装MySQL5.5.28数据库图文教程
Windows XP系统中安装MySQL5.5.28数据库图文教程 2014-07-13 16:35来源:中国存储网导读:MySQL数据库的安装一共分为两个部分:数据库的安装和数据库的配置.一.My ...

nutch mysql hadoop_nutch2.2.1+ hadoop1.2.1 + mysql5.6.13

nutch mysql hadoop_nutch2.2.1+ hadoop1.2.1 + mysql5.6.13相关推荐

最新文章

热门文章