前期博客

Ambari安装之部署单节点集群

　　其实，按照这个步骤是一样的。只是按照好3个节点后，再做下HA即可。

部署3个节点的HA分布式集群

（1）添加机器

和添加服务的操作类似，如下图

之后的添加ambari03、ambari04操作就和部署ambari02类似，可以参照前面的步骤。这里不多赘述。

Ambari安装之部署单节点集群

（2）添加服务

添加ambari03、ambari04的服务的操作和前面的ambari02类似，具体可以参照前面的步骤。这里不多赘述。

Ambari安装之部署单节点集群

　　当然，我下面这里就是，ambigdata1、ambigdata2、ambigdata3和ambigdata4，组成的4节点的HA大数据集群。

　　我这里，就吧所有的服务都加进去。

（3）配置HA

　选择，HDFS -> services -> service actions -> enable namenode HA

　　 YARN -> services -> service actions ->enable resourcemanager HA

以后再贴图。

接下来按照命令提示一步一步操作即可

　　这里，大家，如何控制下呢？

　　比如，这里，我参考这篇博客

完全分布式Hadoop集群的安装搭建和配置（4节点）

　　在这里，为了今年实验室环境所需。所以，将计算节点动态设置为4。来迎合论文里的4、3、2和1节点，对比加速比。

　　则最后得到，是如下

　　然后，下面就是，等同于apache版本的hive安装的配置文件hive-site.xml

　　然后呢，相信大部分博友，跟我一样，在这里，对下面三个现在，都不知道怎么设置。没关系，大家，可以先跳过。

　　以后，再回来设置即可。这个不难。

保证所有服务都正常启动之后，下面我们就可以上传文件到HDFS，并运行Mapreduce了

　　那就改成mysql数据库来吧

　　这里啊，我查了下资料

数据库要求

Hive/HCatalog、Oozie和Ambari都需要一个内部数据库。

Hive/HCatalog：默认使用Ambari自带的Mysql5.x。也可以自己配置Oracle 11g r2。

Oozie：默认使用Ambari自带的Derby。也可以自己配置Mysql5.x和Oracle 11g r2。

Ambari：默认使用Ambari自带的PostgreSQL8.x，也可以使用Oracle 11g r2.

　　然后

http://192.168.86.21:8080/#installer/step8

　　比如这不，有个什么Hcat client安装失败。多刷新，反复这里就是。（因为是网速原因）

　　最后，一定会成功，全部安装完全的！

　　如下是我开启全部服务的过程：

对于这样的日志报错
一般是怎么看的，请问

jdbc驱动没有。传个上去

手动安装apahce版本的oozie和cdh的oozie，我会下面的这篇博客就是已经解决了

Oozie安装时放置Mysql驱动包的总结（网上最全）

现在，这里是ambari里安装oozie，一直不知道怎么放mysql-con**驱动jar包，

以后你有时间解决下！！！

　　其实，很简单

[root@ambigdata1 ~]# yum install mysql-connector-java
Is this ok [y/N]: y

　　即可

　　心得：一般在公司里，是，开启了服务，就不需再关闭。

只有自己的电脑，比如搭建了4个虚拟机这样的来，关闭再开启。

好啦，写这篇博客是为了帮助入门的博友们，同时，也是，为了最近要在自己实验室，搭建真实物理机器的多节点大数据集群!

（4）运行MapReduce程序

1）上传文件到HDFS

执行命令：cd /usr/hdp/current/hadoop-client/bin这个目录下创建vi wc.txt这个文件,然后输入相应的内容

执行命令：sudo -u hdfs hadoop fs -put wc.txt /hdpCluster

文件上传成功之后就可以执行命令运行mapreduce程序了，运行如下命令

yarn jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapeduce-examples-2.7.1.2.4.0-169.jar wordcount /hdpCluster/wc.txt /output

可能会报权限的问题，那么我们只需要修改一下对应的权限即可，例如使用下面的方法。

sudo -u hdfs hadoop fs -ls /

sudo -u hdfs hadoop fs -chown -R hadoop:hadoop /

sudo -u hdfs hadoop fs -ls /

Mapreduce执行成功之后通过如下命令查看程序运行结果

sudo -u hdfs hadoop fs -cat /output/part*

那么到此为止我们的ambari安装部署HA分布式集群就给大家演示完毕了!

转载于:https://www.cnblogs.com/wangsongbai/p/9116010.html

Ambari安装之部署3个节点的HA分布式集群相关推荐

mongoDB 从单节点迁移到分布式集群遇到的问题
mongoDB 从单节点迁移到分布式集群遇到的问题: 1.linux 环境下limit 的设置问题: 错误: $ ps -ef|grep mongod -bash: fork: re ...
Ambari安装之部署单节点集群
前期博客大数据领域两大最主流集群管理工具Ambari和Cloudera Manger Ambari架构原理 Ambari安装之Ambari安装前准备(CentOS6.5)(一) Ambari安装之部 ...
java毕业设计分布式集群的设备维保系统mybatis+源码+调试部署+系统+数据库+lw
java毕业设计分布式集群的设备维保系统mybatis+源码+调试部署+系统+数据库+lw java毕业设计分布式集群的设备维保系统mybatis+源码+调试部署+系统+数据库+lw 本源码技术栈: ...
HBase 1.2.6 完全分布式集群安装部署详细过程
2019独角兽企业重金招聘Python工程师标准>>> Apache HBase 是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,是NoSQL数据库,基于Google Big ...
SolrCloud 分布式集群安装部署（solr4.8.1 + zookeeper +tomcat）
SolrCloud 分布式集群安装部署安装软件包准备 · apache-tomcat-7.0.54 · jdk1.7 · solr-4.8.1 · zookeeper-3.4.5 注:以上软件都是基 ...
Hadoop伪分布式集群的安装部署
Hadoop伪分布式集群的安装部署Hadoop伪分布式集群的安装部署首先可以为Linux虚拟机搭建起来的最初状态做一个快照,方便后期搭建分布式集群时多台Linux虚拟机的准备. 一.如何为虚拟机做快 ...
Hadoop分布式集群的安装与部署实训总结报告
目录前言一.Hadoop平台框介绍 1.Hadoop的架构 2.HDFS:遵循主从架构,它具有以下元素. 2.1 名称节点 -Namenode 2.2 数据节点 - Datanode 2.3 块 ...
记一次基于Hadoop 3.3.0 安装部署 Spark 3.0.0 分布式集群
一.基本信息官网 http://spark.apache.org/ Apache Spark 官方文档中文版(Spark 2.2.0) http://spark.apachecn.org/#/ Sp ...
Kettle分布式集群安装部署详细步骤和使用分布式Kettle集群示例
Kettle分布式集群安装部署详细步骤和使用分布式Kettle集群示例一.下载kettle和mysql驱动二.相关技术博客三.Kettle分布式集群环境准备四.解压kettle 五.执行Kit ...

Ambari安装之部署3个节点的HA分布式集群

Ambari安装之部署单节点集群

部署3个节点的HA分布式集群

（1）添加机器

Ambari安装之部署单节点集群

（2）添加服务

Ambari安装之部署单节点集群

（3）配置HA

完全分布式Hadoop集群的安装搭建和配置（4节点）

Oozie安装时放置Mysql驱动包的总结（网上最全）

（4）运行MapReduce程序

Ambari安装之部署3个节点的HA分布式集群相关推荐

最新文章

热门文章