Cloudera Manager 4.6 安装部署hadoop CDH集群
Cloudera Manager 4.6 安装详解
1. Cloudera Manager介绍
1.1. 功能介绍
Cloudera Manager是一个针对hadoop集群的管理工具,功能包括:cdh的安装,集群的活动监控、各个性能指标的监控,以及各个组件的管理等。
1.2. 架构介绍
Cloudera Manager分为客户端(Cloudera Manager Agent)和服务端(Cloudera Manager Server),客户端会把采集到的数据发送到服务端,服务端把这些数据存放在数据库中,用户可以在Cloudera Manager管理页面查看数据以及相关的图表。如下图:
1.3. 版本支持
笔者这里安装的的CDH版本是4.6,所以安装的Cloudera Manager版本是4.6,支持CDH3 Update 1 (cdh3u1)或更新版,还有CDH4.0或更新版。强烈建议安装CDH3 Update2或更新版。
1.4. Cloudera Manager会安装哪些组件
- 安装Cloudera Manager时
安装Cloudera Manager时会在安装Cloudera Manager Server的主机上安装Cloudera Manager和Oracle的jdk(支持1.6和1.7)
- 使用Cloudera Manager安装集群时
在安装完Cloudera Manager后第一次打开后台管理界面时,会自动跳转到向导页。
集群中的每个主机上都会安装Cloudera Manager Agent和Oracle的jdk。
可以根据自己的选择来安装CDH和Impala等。
2. Cloudera Manager安装前准备
2.1. 数据库准备
- 如果使用Cloudera Manager来安装默认的数据库,默认安装的话,Cloudera Manager会给oozie配置Derby数据库,为Hue配置SQLite数据库,会使用嵌入式的PostgreSQL数据库来提供存放Hive的元数据。活动监控,服务监控,报告监控以及主机监控的数据会存放在嵌入式的PostgreSQL数据库里。这种方法不需要额外配置数据库,Cloudera Manager可自行安装配置。
- 为Cloudera Manager配置外部的数据库服务
笔者比较习惯用mysql,在安装Cloudera Manager之前,需要给支好mysql,用Cloudera Manager安装集群的话,安装选项中只有为hive、服务监控、活动监控、主机监控配置外部数据库的选项,oozie、hue等数据可在安装完成后,在管理界面中配置安装。具体操作见下。
- 数据库中各个服务产生的数据量
Cloudera Manager数据库:
这是数据库中最重要的数据库,包含了所有服务的配置:角色分配、配置历史、命令、用户以及运行的进程这个数据库一般只有100MB大小左右。
活动监控数据库:
包含了集群中过往的活动信息,在一个大的集群中数据量是很大的,GB级别。
服务监控数据库:
包含了后台进程的监控信息。在大的集群中,这个库的大小会很大的。
报告管理数据库:
全天候监控磁盘使用情况。数据库的大小适中。
主机管理数据库:
记录了主机的状态。集群中的主机个数将会直接影响数据库的大小。
- 数据库的最大连接数设置
给每个数据库要允许设置100个最大的连接数,另外在额外添加50个连接数。若有2个服务使用一个数据库系统,则给该数据库系统设置250个最大连接数。
例如:给活动监控、服务监控、报告管理、主机监控、Cloudera Manager服务器、Cloudera仪表和Hive元数据这7个服务使用同一个数据库,那么数据库的最大连接数设置最少为750个。
2.2. 操作系统的需要
在Cloudera Manager4.6.0下,支持一下操作系统(本文中的实验环境是Ubuntu12.04 64-bit):
- Red Hat
- Red Hat Enterprise Linux 5.7 and CentOS 5.7, 64-bit
- Red Hat Enterprise Linux 6.2 and 6.4, and CentOS 6.2 and 6.4, 64-bit
- Oracle Enterprise Linux 5.6 with Unbreakable Enterprise Kernel, 64-bit
- SLES
- SUSE Linux Enterprise Server 11, 64-bit. Service Pack 1或更新,需要组件SUSE Linux Enterprise Software Development Kit 11 SP1
- Debian
- Debian 6.0 (Squeeze), 64-bit
- Ubuntu
- Ubuntu 10.04 64-bit
- Ubuntu 12.04 64-bit
2.3. 浏览器的需要
- Firefox 11 或 更新
- Google Chrome
- Internet Explorer 9
- Safari 5 或 更新
2.4. 安全验证的需要
安装过程中有两种安全验证的方法:
- 集群中的所有主机都需要配置配置一个同样的拥有sudo权限的账户名和密码
- 用Cloudera Manager的ssh公钥来连接其它的主机,前提是已配置好了
3. 安装Cloudera Manager
3.1. 数据库安装(MySQL)
- 安装MySQL服务
$ sudo apt-get install mysql-server
- 启动MySQL守护进程
$ sudo service mysql start
- 配置InnoDB引擎
不同版本的数据库设置可能不一样的,登进mysql后查看数据库是否已经启用了InnoDB引擎,笔者用的版本是5.5.38,默认是启用了。
为使得数据库能有发挥更好的性能,推荐一下配置:
[mysqld] transaction-isolation=READ-COMMITTED # Disabling symbolic-links is recommended to prevent assorted security risks; # to do so, uncomment this line: # symbolic-links=0key_buffer = 16M key_buffer_size = 32M max_allowed_packet = 16M thread_stack = 256K thread_cache_size = 64 query_cache_limit = 8M query_cache_size = 64M query_cache_type = 1 # Important: see Configuring the Databases and Setting max_connections max_connections = 550# log-bin should be on a disk with enough free space log-bin=/x/home/mysql/logs/binary/mysql_binary_log# For MySQL version 5.1.8 or later. Comment out binlog_format for older versions. binlog_format = mixedread_buffer_size = 2M read_rnd_buffer_size = 16M sort_buffer_size = 8M join_buffer_size = 8M# InnoDB settings innodb_file_per_table = 1 innodb_flush_log_at_trx_commit = 2 innodb_log_buffer_size = 64M innodb_buffer_pool_size = 4G innodb_thread_concurrency = 8 innodb_flush_method = O_DIRECT innodb_log_file_size = 512M[mysqld_safe] log-error=/var/log/mysqld.log pid-file=/var/run/mysqld/mysqld.pid
- 配置数据库允许远程连接
mysql>grant all privileges on *.* to 'root'@'%' identified by 'mysqlpasswd’ with grant option;
其中的root是用户,mysqlpasswd是密码。
- 在集群中的每台主机上安装mysql的jdbc包
$ sudo apt-get install libmysql-java
- 在/etc/mysql/my.cnf里配置mysql所在主机的ip
bind-address=127.0.0.1
127.0.0.1是连接数据库使用的ip。
3.2. 安装Cloudera Manager
- 去http://www.cloudera.com/content/support/en/downloads/cloudera_manager/cm-4-6-0.html这里下载你需要的Cloudera Manager。笔者这里使用的是4.7。
- 将下载好的cloudera-manager-installer.bin上传到Cloudera Manager Server主机上,可以不是集群里的主机。
- 给它可执行的权限:
$ chmod u+x cloudera-manager-installer.bin
- 运行cloudera-manager-installer.bin
$ sudo ./cloudera-manager-installer.bin
出现README如下图:
选择NEXT出现证书信息:
选择Next,进入证书确认的画面:
选择YES,进入Oracle证书信息页面:
选择NEXT,进入Oracle的证书确认界面:
选择YES进入JDK安装画面,默认安装的是Oracle的JDK1.6:
安装完成后进入下边画面,这里有你访问Cloudera Manager的链接(默认端口是7180)和账户名密码(admin)等信息:
后边一直选择ok,结束安装:
到此,可以确定访问Cloudera Manager的链接是http://192.168.1.130:7180。
4. 用Cloudera Manager安装CDH
4.1. 选择安装的版本
第一次访问上述链接时,登陆后会自动跳转到Cloudera Manager安装向导上,默认的账户名和密码都是admin:
笔者在这里选择的是Cloudera Standard版(标准版),点击Continue进入下个页面:
4.2. 确定集群中的主机
点击Continue进入下个页面:
在这里可以填写集群中各个主机的地址或是主机名,你可以指定多个地址和地址范围,可以用逗号、分号、制表符、空格键或是换行符来把它们隔开。这样可以实行更具体的搜索,而不是在一个过宽的范围里搜索。如果使用IP范围或主机名范围来搜索的话,具体格式如下表格:
使用这个扩展范围 |
指定了这些主机 |
10.1.1.[1-4] |
10.1.1.1, 10.1.1.2, 10.1.1.3, 10.1.1.4 |
host[1-3].company.com |
host1.company.com, host2.company.com, host3.company.com |
host[07-10].company.com |
host07.company.com, host08.company.com, host09.company.com, host10.company.com |
画面如下:
点击Search进入搜索结果画面:
4.3. 确定安装的CDH的仓库,以及其它组件
确认主机没有问题的话,点击Continue,进入安装仓库配置页面:
这里推荐是使用Parcels安装,可以在More Options里填写你选择的安装仓库,这个仓库就决定了你安装的CDH版本,这里选择的是http://archive.cloudera.com/cdh4/parcels/4.6.0/。注意,如果你添加了别的仓库,这里的CDH版本将可能会发生变化,如果你需要安装SOLR和IMPALA,请添加新的SOLR和IMPALA仓库,确保CDH、SOLR、IMPALA三者的版本能保持兼容。如果在这里没有选择SOLR和IMPALA,那么在后边选择安装服务的时候,也不能选择它们,切记!
4.4. 配置使用用户名密码还是公钥验证主机登录
如下图:
4.5. 安装JDK和Cloudera Manager Agent
点击Continue进入安装Oracle的JDK和Cloudera Manager Agent,如下图:
上面这一步若是出错,很有可能是你没有配置合适的主机名,请检查主机名和hosts文件里的列表。
4.6. 分配安装包到集群中的各个节点上
安装完成后点击Continue,进入Parcel的安装:
安装完成后会出现核对的画面:
4.7. 选择安装的组件
确认没有问题的话,点击Continue进入下边画面:
在这个页面里,选择你要安装的组件,注意,如果你在之前没有选择添加Impala的仓库,在这里不要选择它,否则后边的安装会出现错误。
点击Inspect Role Assignment进入各节点的角色分配列表,如下:
Cloudera Manager会经过一系列(硬件性能)的计算自动给各个节点分配最适合的角色。在这里你可以根据自己的需求对角色的分配进行适当的修改。
4.8. 配置数据库
然后点击Continue进入数据库的配置画面:
配置好数据库的InnoDB引擎、远程连接、主机的地址等在这里才可以测试成功,具体配置见上文。点击Continue,进入配置确认页面:
4.9. 完成安装
确认无误,点击Continue,进行集群的首次启动。启动成功后选择Continue,进入了后台管理的主界面。
这里出现这些提示主要是因为各个节点的内存小了,重新添加内存后,集群环境健康:
至于如何使用Cloudera Manager来管理这个集群环境,稍加熟悉后应该就可以掌握了。
4.10. Oozie的数据库配置
如果有必要修改oozie使用其它的数据库,请继续看下边:
- 在Service里进入oozie服务,在Oozie Server(Default)里选择Database,然后对数据库类型、数据库名、数据库地址、用户名以及密码进行设置,保存修改。
- 然后在数据库中手动建一个上边填写的数据库(Cloudera Manager后台管理里在Action里是可以建库的,但在这里暂时出了点问题,建不了。手动建库其实是一种妥协)。
- 启动Oozie服务。
转载于:https://www.cnblogs.com/leocook/p/cdh_management.html
Cloudera Manager 4.6 安装部署hadoop CDH集群相关推荐
- CentOS下部署Hadoop高性能集群
目录: •Hadoop 概述 •实战1:部署Hadoop高性能集群 Hadoop是什么 Hadoop是Lucene创始人Doug Cutting,根据Google的相关内容山寨出来的分布式文件系统和对 ...
- Hadoop集群安装部署_分布式集群安装_02
文章目录 一.上传与 解压 1. 上传安装包 2. 解压hadoop安装包 二.修改hadoop相关配置文件 2.1. hadoop-env.sh 2.2. core-site.xml 2.3. hd ...
- Centos7 安装部署Kubernetes(k8s)集群过程
1.系统环境 服务器版本 docker软件版本 CPU架构 CentOS Linux release 7.9 Docker version 20.10.12 x86_64 2.前言 如下图描述了软件部 ...
- 1.24版本k8s集群安装部署rook-ceph存储集群
一.初始花基本环境 1.主机环境信息 系统 主机名 主机IP地址 配置说明 AlmaLinux release 8.6 (Sky Tiger) master01 192.168.3.31 k8s管理节 ...
- Hadoop集群安装部署_分布式集群安装_01
文章目录 1. 分布式集群规划 2. 数据清理 3. 基础环境准备 4. 配置ip映射 5. 时间同步 6. SSH免密码登录完善 7. 免密登录验证 1. 分布式集群规划 伪分布集群搞定了以后我们来 ...
- 二进制安装部署 4 kubernetes集群---超详细教程
二进制安装部署kubernetes集群---超详细教程 前言:本篇博客是博主踩过无数坑,反复查阅资料,一步步搭建完成后整理的个人心得,分享给大家~~~ 本文所需的安装包,都上传在我的网盘中,需要的可以 ...
- Spark笔记整理(一):spark单机安装部署、分布式集群与HA安装部署+spark源码编译...
[TOC] spark单机安装部署 1.安装scala 解压:tar -zxvf soft/scala-2.10.5.tgz -C app/ 重命名:mv scala-2.10.5/ scala 配置 ...
- 【doris】V1.2.2安装部署单机版or集群版
FE 主要负责元数据管理.集群管理.用户请求的接入和查询计划的解析等工作. BE 主要负责数据存储.查询计划的执行等工作. 注:如下介绍单机版,集群版的部署方法与单机版一致,需将be安装包复制到其他节 ...
- zadig安装部署接入k8s集群、ldap、jenkins、gitlab、项目配置管理、yaml模板管理
在这之前我们使用的rancher然后对比了一下还是zadig更加适合我们亿点,开搞开搞. zadig官网地址:https://docs.koderover.com/ zadig安装之前先自己安装mys ...
最新文章
- LeetCode实战:整数反转
- 上海高考听说测试什么软件,2021上海市高考外语听说测试模拟系统使用方法及注意事项...
- 如何阅读微控制器数据手册:探索硬件 ?
- Altium Designer PCB快速布局
- 什么是MIME?什么是MIME邮件?
- HMM——前向后向算法
- 升级Jenkins镜像,支持.NET6.0
- matlab bmp hsi,matlab中RGB与HSI图像转化
- 睡眠周期时长测试软件,“智能时钟”测睡眠周期 最佳时候叫醒你
- 医院耗材管理系统开发_12
- Dell Inspiron 14 3437装win7系统没有网卡驱动解决办法
- oracle建表语句
- 综合能效管理系统(AcrelEMS-IDC)的应用-在某数据中心
- 4-2 jmu-java-m04-Person、Teacher与Student (10分)
- Halo CMS项目改成用Maven构建项目并打包成安装程序
- 高德纳:盖茨亲自为他的书做推广
- 运用计算机巧记英语词汇,词根词缀法巧记考研英语词汇:词根graph-(写)
- 一路编程,一路迷茫,一路醒悟,接着迷茫,再醒悟再迷茫
- 欲取代Android的Firefox OS 的意外复兴
- 天翎低代码平台助力企业业务流程集成,为企业降本增效