hadoop 3.0.0 alpha3 安装、配置

1. 官网下载

wget http://mirror.bit.edu.cn/apache/hadoop/common /hadoop-3.0.0-alpha3/hadoop-3.0.0-alpha3.tar.gz

..注意下载二进制（省时间）

1解压

tar -zxvf hadoop-3.0.0-alpha3-src.tar.gz -C /opt/

cd /opt/

mv hadoop-3.0.0-alpha3/ hadoop3

3. 环境变量

vi /etc/profile

#Hadoop 3.0
export HADOOP_HOME=/opt/hadoop3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

4. 配置文件 hadoop3/etc/hadoop

1) hadoop-env.sh

注意: /usr/java/jdk1.8为jdk安装路径

2）core-site.xml

注意：hdfs://ha01:9000 中ha01是主机名

3) hdfs-site.xml

4) yarn-site.xml

注意:ha01是主机名

5) mapred-site.xml

注意：如果不配置mapreduce.admin.user.env 和 yarn.app.mapreduce.am.env这两个参数mapreduce运行时有可能报错。

6）workers

这里跟以前的slaves配置文件类似，写上从节点的主机名

5. 复制到其他节点

scp -r hadoop-3.0.0-alpha1 root@ha02:/usr/local

scp -r hadoop-3.0.0-alpha1 root@ha03:/usr/local

6. 启动

start-dfs.sh

start-yarn.sh

hdfs dfs -ls /

7. 运行wordcount

hdfs dfs -cat /logs/wordcount.log

hadoop jar /usr/local/hadoop3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0-alpha1.jar wordcount /logs/wordcount.log /output/wordcount

注意: /usr/local/hadoop3是解压路径，/logs/wordcount.log是输入文件路径，/output/wordcount运行结果路径

查看运行结果: hdfs dfs -text /output/wordcount/part-r-00000

8. Web界面

http://ha01:9870/

http://ha01:8088/

转载于:https://www.cnblogs.com/burningmyself/p/7043071.html

hadoop 3.0.0 alpha3 安装、配置相关推荐

mysql8.0.17压缩包安装教程_mysql 8.0.16 压缩包安装配置方法图文教程
本文为大家分享了mysql 8.0.16 压缩包安装配置方法,供大家参考,具体内容如下运行环境:windows 10 x64 1.下载zip安装包: mysql8.0 for windows zip ...
新版mysql的下载教程_Mysql最新版8.0.21下载安装配置教程详解
一.下载 1.下载安装包 mysql下载路径:https://dev.mysql.com/downloads/file/?id=496745 2.解压压缩包解压到安装的目录: 3.在此目录下新建my ...
WSL 2.0+LAMP+WordPress 安装配置
长流程WSL2.0+LAMP+WordPress 安装配置不少小网站跑的WordPress,网上共享空间或者VPS又是Linux系统,所以自己在Windows上搭个仿真的坏境当练手十分好玩.笔者大感 ...
mysql 8.0.24版本安装配置方法图文教程
文章来源: 学习通http://www.bdgxy.com/ 普学网http://www.boxinghulanban.cn/ 智学网http://www.jaxp.net/ 本文记录了mysql 8 ...
mysql 8.0.28版本安装配置方法图文教程
mysql 8.0.28版本安装配置方法图文教程从 Mysql 官网下载 mysql 下载完成后直接双击进行安装,打开后的页面如下所示: 选择自定义custom,接着下一步将MySQL Serve ...
一步步教你Hadoop多节点集群安装配置
一步步教你Hadoop多节点集群安装配置 1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统HDFS(Hado ...
hadoop2.2.0 集群安装配置
本集群由6台虚拟机组成,全部安装centos6.4的32位系统. 一.前期工作 1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映射关系 4.关闭防火墙 5.ssh免登陆 6.安装JDK ...
ElasticSearch-2.0.0集群安装配置与API使用实践
ElasticSearch是基于全文搜索引擎库Lucene构建的分布式搜索引擎,我们可以直接使用ElasticSearch实现分布式搜索系统的搭建与使用,都知道,Lucene只是一个搜索框架,它提供了 ...
win8mysql安装教程zip_mysql 8.0.18.zip安装配置方法图文教程(windows 64位)
关于卸载以前安装版的数据库,大家可以参考一下这篇文章. 卸载前记住一定要记得复制保留以前的数据,安装版的数据是在 mysql5.7所有安装版本卸载教程,建议:大家卸载完一定要重启一下. 目录 1.先去 ...
Android Studio 1.0 苹果电脑安装配置
前言近日Google终于不负众望,发布了期待已久的Android Studio 1.0正式版.小编自己是Android开发者,之前使用过Eclipse,也试用过Android Studio 0.x版 ...

hadoop 3.0.0 alpha3 安装、配置

hadoop 3.0.0 alpha3 安装、配置相关推荐

最新文章

热门文章