大数据平台,涉及到很多软件产品,如果刚刚入行hadoop,直接下载软件包,手动配置文件的方式,并没有那么直观和容易。

Ambari提供了一个选择,图形化安装和管理hadoop集群

Ambari公司就不介绍了,Ambari软件很直观,但是实际安装感受并不好。反倒不如自己安装可控。出错/失败之后,“retry”似乎是唯一的办法。

现在我们开始着手安装了,安装过程中,我会介绍我遇到的坑,和如何再次爬出来。

1. 首先登陆官方页面

https://docs.hortonworks.com/index.html

2. 选择需要的版本

3. 点击installation

4. 选择Install Ambari

5. 然后进入文档页面

官方安装步骤,注意,选择你需要安装的版本的安装文档

https://docs.hortonworks.com/HDPDocuments/Ambari-2.4.2.0/bk_ambari-installation/content/download_the_ambari_repo_lnx6.html

6. 根据上面的步骤,就可以进入到配置yum 源头,由于源头在海外,速度超慢,我先将软件包下载到本地。

wget -nv http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.4.2.0/ambari.repo -O /etc/yum.repos.d/ambari.repo
yum repolist
yum install --downloadonly ambari-server  --downloaddir=/tmp/
yum install --downloadonly HDP-2.5.0.0  --downloaddir=/tmp/
yum install --downloadonly HDP-2.5.*  --downloaddir=/tmp/Update on 2018-5-13
yum源有问题了,wget下载地址:
wget http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos6/HDP-UTILS-1.1.0.21-centos6.tar.gz
wget http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.5.0.0/HDP-2.5.0.0-centos6-rpm.tar.gz
[root@db_monitor]# ll
-rw-r--r-- 1 root root 5996696005 Aug 27  2016 HDP-2.5.0.0-centos6-tars-tarball.tar.gz
-rw-r--r-- 1 root root  833424206 Oct 26 23:09 HDP-UTILS-1.1.0.21-centos6.tar.gz

7.下载到本地之后,在一个服务器上,创建一个HTTP服务,用来后面的安装

yum install httpd -y
# service httpd restart
# chkconfig httpd on

将下载的HDP软件包放入到/var/www/html/目录下

即可通过网页访问了

准备环节完成了,开始安装了

8. 配置节点的ssh免密登陆,只在安装ambari的服务器上可以访问其他节点即可。

$ ssh-keygen -t rsa -f ~/.ssh/id_rsa

三个回车即可

拷贝密钥到全部节点即可(只有ambari访问其他server不需要密码,反向访问是需要密码的)

ssh-copy-id  server2
ssh-copy-id  server3
ssh-copy-id  server4

9. 配置ambaris,先关闭selinux(我使用到ansible,可以通过修改配置文件来禁用)

ansible all -m selinux -a 'state=disabled'

10.关闭防火墙

ansible all -m service -a 'name=iptables state=stopped enabled=off'

11.安装JDK,ambari安装的过程,可以自动安装,但是速度比较慢。建议自行安装。需要在全部节点都安装

下载JDK(内网地址)

wget http://10.21.xx.xx/deploy/jdk1.7.0_79.tar.gz

安装JDK,全部节点都要安装

#tar -xzvf  jdk1.7.0_79.tar.gz -C /usr/local

添加下面信息到.bash_profile

export JAVA_HOME=/usr/local/jdk1.8.0_144
export JRE_HOME=/usr/local/jdk1.8.0_144/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH
source /etc/profile

12. 现在才开始正式ambaris安装

(注意:如果选择自行安装jdk,并且后续需要使用kerberos认证的话,还是需要JCE的。不然就无法正常连接KDC的。这是我后面遇到问题才发现的。而且oracle官网,只能下载1.8版本的JCE。1.7及以下,需要metalink账号才能下载。所以,如果网速可以的情况下,建议直接选择1、2进行安装JDK)

[root@ip-10-21-23-29 ambari]# ambari-server setup
Using python  /usr/bin/python
Setup ambari-server
Checking SELinux...
SELinux status is 'disabled'
Customize user account for ambari-server daemon [y/n] (n)?
Adjusting ambari-server permissions and ownership...
Checking firewall status...
Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7 <<<<<<<重要
[3] Custom JDK
==============================================================================
Enter choice (1): 3
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /usr/local/jdk1.7.0_79
Validating JDK on Ambari Server...done.
Completing setup...
Configuring database...
Enter advanced database configuration [y/n] (n)?    -----如果不希望安装默认的postgres数据库,这里要选Y
Configuring database...
Default properties detected. Using built-in database.
Configuring ambari database...
Checking PostgreSQL...
Running initdb: This may take up to a minute.
Initializing database: [  OK  ]
About to start PostgreSQL
Configuring local database...
Connecting to local database...done.
Configuring PostgreSQL...
Restarting PostgreSQL
Extracting system views...
......ambari-admin-2.4.1.0.22.jar
.......
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.

14. 启动ambari

[root@ip-10-21-23-29 ambari]# ambari-server start
Using python  /usr/bin/python
Starting ambari-server
Ambari Server running with administrator privileges.
Organizing resource files at /var/lib/ambari-server/resources...
Ambari database consistency check started...
No errors were found.
Ambari database consistency check finished
Server PID at: /var/run/ambari-server/ambari-server.pid
Server out at: /data1/log/ambari-server/ambari-server.out
Server log at: /data1/log/ambari-server/ambari-server.log
Waiting for server start....................
Ambari Server 'start' completed successfully.

15. 但是现在,网页是无法打开的,安装httpd服务

[root@ip-10-21-23-29 ambari]# service httpd status
httpd: unrecognized service

需要安装httpd

[root@ip-10-21-23-29 ambari]# yum install httpd
[root@ip-10-21-23-29 ambari]# service httpd status
httpd is stopped
[root@ip-10-21-23-29 ambari]# service httpd start
Starting httpd:                                            [  OK  ]

16. 页面安装开始,网上很多人都写过如何安装的,我只是将比较重点的部分截图

这里需要选择前面已经准备好的HTTP连接,路径参考如下

HDP Base URL http://<web.server>/hdp/HDP/<OS>/2.x/updates/<latest.version>
HDP-UTILS Base URL http://<web.server>/hdp/HDP-UTILS-<version>/repos/<OS>

17. 填入主机名,一定将完整的主机名填入,包括后缀。不能用IP代替。这里就要注意/etc/hosts是否都正常解析

18. 安装ambari的agent,如果遇到失败,选择失败的条目,可以“retry”

19. 即使成功,下面如果有warning,也需要解决,跳过绝对不是明智的选择。 我就遇到点问题

通过下面命令,关闭THP,然后Rerun checks,确保都解决掉

echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
echo "transparent_hugepage=never" >> /etc/grub.conf

20. 问题全解决之后,开始安装

21. 也许你在想,这么快就完成了?那你错了。我被折磨了一周,才见到下面这个界面。而且,你是不是觉得,我的界面过于简单?是的,我只部署了zookeeper和HDFS。因为,错了太多次了。我只能尝试从最简单的开始安装。减少出问题的概率。

22. 成功之后,可以通过add service的方式,逐步增加你需要的资源

23. 增加service的过程

24. 看看吧,这个就是安装成功的界面。看到它,不容易啊。

下面就和大家抱怨一下Ambari的种种不便吧。

失败的,基本只能retry,甚至不能重新再安装。之前已经安装的服务,会影响到你下次的安装。

我由于无法忍受种种失败,打算换个名字重新安装,但是上次安装失败的软件还在,无法重新安装。只能先卸载之前已经安装的service。

那么问题来了,Ambari竟然不能卸载!不能卸载!不能卸载! 重启服务,重启主机,统统无法跳过。依然很执着的停在那个错误的页面。

终于在参考别人的blog之后,找到命令删除的方式

1. 查询资源

curl -u admin:admin -H “X-Requested-By: ambari” -X GET http://10.21.23.29:8080/api/v1/clusters/beta_eu/services/

2. 删除资源

curl -u admin:admin -H "X-Requested-By: ambari" -X DELETE http://10.21.23.29:8080/api/v1/clusters/beta_eu/services/KAFKA

3. 如果删除失败,先stop在删除

#curl -u admin:admin -H "X-Requested-By: ambari" -X DELETE http://10.21.23.29:8080/api/v1/clusters/beta_eu/services/APPCONFIGURATION
{"status" : 500,"message" : "org.apache.ambari.server.controller.spi.SystemException: An internal system exception occurred: Cannot remove beta_eu/APPCONFIGURATION. One or more host components are in a non-removable state."

4. 停止service

[root@ip-10-21-23-29 ~]#  curl -u admin:admin -H "X-Requested-By: ambari" -X PUT -d '{"RequestInfo":{"context":"Stop Service"},"Body":{"ServiceInfo":{"state":"INSTALLED"}}}' 10.21.23.29:8080/api/v1/clusters/beta_eu/services/APPCONFIGURATION
{  "href" : "http://10.21.23.29:8080/api/v1/clusters/beta_eu/requests/24","Requests" : {"id" : 24,"status" : "Accepted"  }

5. 删除service

[root@ip-10-21-23-29 ~]#curl -u admin:admin -H "X-Requested-By: ambari" -X DELETE http://10.21.23.29:8080/api/v1/clusters/beta_eu/services/APPCONFIGURATION

6. 再次检查,已经没有service了

[root@ip-10-21-23-29 ~]#  curl -u admin:admin -H “X-Requested-By: ambari” -X GET http://10.21.23.29:8080/api/v1/clusters/beta_eu/services/
curl: (6) Couldn't resolve host 'ambari”'
{"href" : "http://10.21.23.29:8080/api/v1/clusters/beta_eu/services/","items" : [ ]

参考链接

http://blog.csdn.net/chengyuqiang/article/details/61195805

Ambari HDP 完整安装手册相关推荐

  1. Hdp + Ambari 本地源安装

    一.安装虚拟服务器(VM12中安装centos7) Hdpm (先安装一台服务器,后面再通过克隆的方式进行服务器的复制) 二.安装jdk 1. 下载jdk1.8安装包2. 将文件传到指定目录jdk-8 ...

  2. snort完整安装(snort-2.8.3.1)

    snort完整安装一(snort-2.8.3.1) 本来是打算做字符串匹配的,上网查了资料说是snort中有匹配算法,于是想自己装一个试试,真是没想到,一装就3个星期,还是好不容易才搞定的.闲话不说了 ...

  3. ambari 自定义组件安装

    借鉴:http://www.ibm.com/developerworks/cn/opensource/os-cn-bigdata-ambari3/index.html Ambari 在启动的时候,会扫 ...

  4. Nginx安装手册(摘自入云龙老师教案,亲测可用)

    前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家.点击跳转到教程. Nginx安装手册 一. nginx安装环境 nginx是C语言开发,建议在linux上运行,本教程 ...

  5. LINUX 第六章 Open WebMail完全安装手册

    目前基于 LINUX操作系统有不少新推出的web邮件产品(如IMP)的出现使web设计者能利用这些产品很容易的实现基于web的邮件系统.然而随着使用这些产品的web邮件系统解决方案日趋流行.现在我们在 ...

  6. MySQL 安装手册(5.7.20)

    MySQL 安装手册(5.7.20) 0. 安装摘要 清除 Linux 环境自身 MYSQL 或者 MariaDB 等: 下载 MYSQL RPM包: 安装.配置.启动: 修改 root 密码: 创建 ...

  7. Nginx安装手册,反向代理,负载均衡,keepalived高可用

                Nginx安装手册    附件在下面 看附件中的 pdf 中的资料写的比较清晰: nginx安装环境 nginx是C语言开发,建议在linux上运行,本教程使用Centos6. ...

  8. Fedora Core 6安装手册

    目录 前言     1.关于Fedora Core         2.关于本手册         3.感谢 1. 背景 2. 理解i386和其他计算机体系 3. 开始安装前         3.1. ...

  9. Ambari入门及安装

    Ambari简述 什么是Ambari Apache Ambari项目旨在通过开发用于配置,管理和监控Apache Hadoop集群的软件来简化Hadoop管理.Ambari提供了一个直观,易用的Had ...

最新文章

  1. linux下lua bit模块的安装
  2. Tomcat启动脚本startup.sh分析
  3. php 应用宝支付,U8SDK——应用宝YSDK新的支付流程
  4. Vue3.0 组合式 API 分析与实践
  5. LeetCode 1. 两数之和(哈希)
  6. python随机函数笔记_Python笔记__random
  7. github可以刷星吗_GitHub 没有 star,该写进简历里吗?
  8. oracle buffercache,Oracle DBA开发之:使用sql来查看buffer cache的使用情况
  9. 比较完善的手写数组reduce方法
  10. GoldenGate 12.3 MA架构介绍系列(4)–Restful API介绍
  11. Java 基于UDP 实现单播、组播、广播 Socket 编程
  12. GBase学习-安装GBase 8a MPP Cluster V95
  13. 外贸ERP软件之工贸一体企业解决方案
  14. 【chm】Python提取chm数据
  15. 安全架构--8--我设计的企业安全体系架构
  16. Facebook Libra币开发指南---Move语言开发代币智能合约
  17. 用c语言编写天数计算器,C/C++实现日期计算器的示例代码
  18. 【IOS实用玩机技巧】爱思助手 IPA 签名功能常见问题汇总(iOS上架)
  19. ISTQB基础级认证参考书
  20. 【文件系统】uploader实战详解实现分片上传、秒传、续传等(1)

热门文章

  1. Swift代码实现加载WEBVIEW
  2. 浏览文件神器!且可以计算所有文件代码的行数!
  3. C#的Access数据库的连接类
  4. NavigateUr l动态参数 格式化参数
  5. 给Fedora11安装五笔
  6. Deep3DBox论文解读
  7. java获取达梦数据库_记一次对达梦数据库的优化过程
  8. python字典最大长度_支持key过期失效和限制字典大小的开源项目 [python expire max length]...
  9. mysql 表变量_在MySQL中创建表变量
  10. 电脑主板跳线_电脑主板跳线连接图