CHD-5.3.6集群安装

我是基于Apache-hadoop2.7.3版本安装成功后，已有的环境进行安装chd-5..6

已用的环境：

JDK版本：

java version "1.8.0_191"
Java(TM) SE Runtime Environment (build 1.8.0_191-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.191-b12, mixed mode)

三台机器已经免秘钥：

192.168.1.30 master
192.168.1.40 saver1
192.168.1.50 saver2

现有的安装包：

cdh5.3.6-snappy-lib-natirve.tar.gz
hadoop-2.5.0-cdh5.3.6.tar.gz
hive-0.13.1-cdh5.3.6.tar.gz
sqoop-1.4.5-cdh5.3.6.tar.gz

开始安装：

1.上传上面的四个安装包到soft 目录

2.赋权

[hadoop@master soft]$ chmod 755 *

3.解压到指定目录

[hadoop@master soft]$ tar -xvf hadoop-2.5.0-cdh5.3.6.tar.gz -C /home/hadoop/CDH5.3.6
tar -xvf hive-0.13.1-cdh5.3.6.tar.gz -C /home/hadoop/CDH5.3.6

4.配置hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.8

5.配置mapred-env.sh

export JAVA_HOME=/usr/local/jdk1.8

6.配置core-sit.xml

<configuration><!-- 指定hdfs的nameservice为ns1 --><property><name>fs.defaultFS</name><value>hdfs://192.168.1.30:9000</value></property><!-- Size of read/write buffer used in SequenceFiles. --><property><name>io.file.buffer.size</name><value>131072</value></property><!-- 指定hadoop临时目录,自行创建 --><property><name>hadoop.tmp.dir</name><value>//home/hadoop/CDH5.3.6/hadoop-2.5.0-cdh5.3.6/data/tmp</value></property><property><name>hadoop.proxyuser.hadoop.groups</name><value>*</value></property><property><name>hadoop.proxyuser.hadoop.hosts</name><value>*</value></property>
</configuration>

7.配置hdfs-site.xml

<configuration><property><name>dfs.namenode.secondary.http-address</name><value>192.168.1.30:50090</value></property><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.namenode.name.dir</name><value>file:/home/hadoop/CDH5.3.6/hadoop-2.5.0-cdh5.3.6/hdfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/home/hadoop/CDH5.3.6/hadoop-2.5.0-cdh5.3.6/hdfs/data</value></property><property><name>dfs.webhdfs.enabled</name><value>true</value></property></configuration>

8.配置slaves

master
saver1
saver2

9.拷贝到其他节点

scp -r /home/hadoop/CDH5.3.6 hadoop@saver1:/home/hadoop/
scp -r /home/hadoop/CDH5.3.6 hadoop@saver2:/home/hadoop/

10.格式化hadoop

[hadoop@master hadoop-2.5.0-cdh5.3.6]$ bin/hdfs namenode -format

出现错误：

Error: Could not find or load main class org.apache.hadoop.hdfs.server.namenode.NameNode

解决方法：

因为没有HADOOP_HOME/share/hadoop/hdfs/× 这个路径，所以我在hadoop-XX\libexec\hadoop-config.sh最后自己加上
## 因为它的classpath中没有hdfs的路径，所以手动添加
CLASSPATH=${CLASSPATH}:$HADOOP_HDFS_HOME'/share/hadoop/hdfs/*'

成功格式化：

11.配置yarn-site.xml

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value> </property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value> </property><property><name>yarn.resourcemanager.address</name> <value>192.168.1.30:8032</value>  </property> <property><name>yarn.resourcemanager.scheduler.address</name><value>192.168.1.30:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>192.168.1.30:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>192.168.1.30:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name>  <value>192.168.1.30:8088</value></property></configuration>

12.配置mapred-site.xml

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>192.168.1.30:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>192.168.1.30:19888</value></property>
</configuration>

13，重启系统

14.启动服务：

[hadoop@master hadoop-2.5.0-cdh5.3.6]$ sbin/hadoop-daemon.sh start namenode
starting namenode, logging to /home/hadoop/CDH5.3.6/hadoop-2.5.0-cdh5.3.6/logs/hadoop-hadoop-namenode-master.out[hadoop@master hadoop-2.5.0-cdh5.3.6]$ sbin/hadoop-daemon.sh start datanode
starting datanode, logging to /home/hadoop/CDH5.3.6/hadoop-2.5.0-cdh5.3.6/logs/hadoop-hadoop-datanode-master.out[hadoop@master hadoop-2.5.0-cdh5.3.6]$ sbin/yarn-daemon.sh start resourcemanager
starting resourcemanager, logging to /home/hadoop/CDH5.3.6/hadoop-2.5.0-cdh5.3.6/logs/yarn-hadoop-resourcemanager-master.out[hadoop@master hadoop-2.5.0-cdh5.3.6]$ sbin/yarn-daemon.sh start nodemanager
starting nodemanager, logging to /home/hadoop/CDH5.3.6/hadoop-2.5.0-cdh5.3.6/logs/yarn-hadoop-nodemanager-master.out[hadoop@master hadoop-2.5.0-cdh5.3.6]$ sbin/mr-jobhistory-daemon.sh start historyserver
starting historyserver, logging to /home/hadoop/CDH5.3.6/hadoop-2.5.0-cdh5.3.6/logs/mapred-hadoop-historyserver-master.out

15.查看服务

[hadoop@master hadoop-2.5.0-cdh5.3.6]$ jps
3269 NodeManager
3414 JobHistoryServer
3447 Jps
2922 DataNode
3021 ResourceManager
2831 NameNode

转载于:https://www.cnblogs.com/hello-wei/p/10964561.html

CHD-5.3.6集群安装相关推荐

2021年大数据HBase（二）：HBase集群安装操作
全网最详细的大数据HBase文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录系列历史文章前言 HBase集群安装操作一.上传解压HBase安装包 ...
hadoop集群安装
一.简述本次集群安装基于4台虚拟集群下进行. hadoop版本使用 2.6.4 操作系统为 centos6.5 jdk版本为 jdk-7u67-linux-x64.tar.gz 二.准备创建had ...
mysql集群安装(centos)
永不放弃,一切皆有可能!!! 只为成功找方法,不为失败找借口! mysql集群安装(centos) mysql cluster : 1. 基于NDB Cluster 的分布式数据库系统 2. mysq ...
redis3.0.0 集群安装详细步骤
2019独角兽企业重金招聘Python工程师标准>>> redis3.0.0 集群安装详细步骤博客分类: 缓存 Redis集群部署文档(centos6系统) (要让集群正常工作至少 ...
ZooKeeper伪分布式集群安装及使用
为什么80%的码农都做不了架构师?>>> ZooKeeper伪分布式集群安装及使用让Hadoop跑在云端系列文章,介绍了如何整合虚拟化和Hadoop,让Hadoop集群跑在V ...
KafKa集群安装、配置
一.事前准备 1.kafka官网:http://kafka.apache.org/downloads. 2.选择使用版本下载. 3.kafka集群环境准备:(linux) 192.168.145.12 ...
HBase 1.2.6 完全分布式集群安装部署详细过程
2019独角兽企业重金招聘Python工程师标准>>> Apache HBase 是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,是NoSQL数据库,基于Google Big ...
ZooKeeper伪分布式集群安装
为什么80%的码农都做不了架构师?>>> 获取ZooKeeper安装包下载地址:http://apache.dataguru.cn/zookeeper 选择一个稳定版本进行下 ...
大数据入门第五天——离线计算之hadoop（上）概述与集群安装
一.概述根据之前的凡技术必登其官网的原则,我们当然先得找到它的官网:http://hadoop.apache.org/ 1.什么是hadoop 先看官网介绍: The Apache™ Hadoop® ...
redis3.0.2 分布式集群安装详细步骤
redis3.0.2 分布式集群安装详细步骤 --(centos5.8 X64系统) 版本历史时间版本说明编写者 2015-06-5 1.0 redis3.0.2 分布式集群安装详细步骤 cs ...

CHD-5.3.6集群安装

CHD-5.3.6集群安装相关推荐

最新文章

热门文章