安装方式B--使用ClouderaManager的Parcels包进行安装
安装方式B–使用ClouderaManager的Parcels包进行安装
安装方式B使用从ClouderaManager依赖库下载的包进行安装。安装JDK、Agents、CDH、Managed Service有多种方式可供选择:
- 使用这些包手工进行安装。你可以使用像Puppet或者Chef等工具帮助你向集群中所有的主机安装这些软件。
- Cloudera Manager可以为你向集群中所有的主机安装这些软件。如果你选择了Cloudera Manager安装方式,你可以选择使用包进行安装或者使用parcels进行安装。为了可以使用Cloudera Manager自动安装Cloudera Manager Agent包或者CDH和受管理的服务,集群中的所有主机应该满足以下条件:
- 允许Cloudera Manager Server主机可以使用一致的SSH 账号密码进行登录。
- 所有的主机必须可以访问到标准包依赖的路径(archive.cloudera.com),或者本地依赖库的路径(必须包含需要的安装文件)
在开始安装之前,需要先安装好Cloudera Manager
注:CDH集群部署不支持在docker容器中进行
1.安装之前的准备
a.使用单用户模式进行配置(单用户模式:在单用户模式下,Cloudera Manager Agent和所有的流程由服务由Cloudera Manager 开始作为一个单独的配置管理用户和组。)
b.在RHEL 5和CentOS 5 系统中确认已经安装Python 2.6(CDH5需要Python支撑)
c.安装并配置外部数据库(Oracle、MySQl或者PostgreSQL)
http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_installing_configuring_dbs.html#concept_i2r_m3m_hn
建立你的Cloudera Manager 库依赖策略
Cloudera建议安装产品使用包管理工具,如RHEL系统兼容的yum
SLES使用zypper, Debian/Ubuntu 使用apt-get. 这些工具依赖于repositories 文件指定的路径来安装软件。比如说,Cloudera维护着网络可以访问的repositories 软件库,用来供CDH和Cloudera Manager安装。有以下两种安装策略可供选择:
- 标准的Cloudera 依赖库安装。这种方式需要你首先确认已经向你的系统添加了需要的repository库依赖信息。
- 系统内部管理的依赖库。当主机无法访问Internet的时候,你可能使用内部依赖库进行安装。可以参考如何准备无网络下的安装环境要求:http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_custom_installation.html#cmig_topic_21(主要讲的是可以使用自建依赖库进行离线安装)
当使用一个内部存储库时,必须将repo或list文件复制到Cloudera Manager服务器主机上,并更新存储库属性指向内部存储库url(指的是安装界面上需要输入的repo库地址)。
RHEL系统兼容的构建内部存储库方式:
1.下载对应的Cloudera Manager repo文件(cloudera-manager.repo)
RHEL/CentOS 6: https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/cloudera-manager.repo
2.拷贝这个文件到 /etc/yum.repos.d/
路径下
安装Cloudera Manager Server 软件
这一步在Cloudera Manager 的主机上安装 JDK 和Cloudera Manager Server 包
在Cloudera Manager 主机上安装JDK
可以使用repository依赖库进行在线安装,也可以在Oracle官网自己下载JDK安装包进行安装
- 通过repository 安装JDK
JDK在CM5 的repository库中已经包含。下载并修改repo文件之后,按照如下命令进行安装:
$ sudo yum install oracle-j2sdk1.7
- 手动安装JDK
查看:
http://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_jdk_installation.html#topic_29
安装Cloudera Manager Server 包
1.安装Cloudera Manager Server 包,需要提前在本地host主机上安装好数据库,或者可以通过网络访问一个数据库。这个host主机不需要是集群中的一个成员,在Cloudera Manager Server主机上,输入如下的命令对Cloudera Manager 包进行安装:
$ sudo yum install cloudera-manager-daemons clodera-manager-server
2.如果你选择了Oracle 数据库用于Cloudera Manager,在CM server的host主机上编辑 /etc/default/cloudera-scm-server
文件。定位以export CM_JAVA_OPTS
开头的那一行,将-Xmx2G
改为-Xmx4G
(可选项)手动安装Oracle JDK,Cloudera Manager Agent,CDH 和一些管理服务安装包
你可以使用Cloudera Manger 安装Oracle JDK,Cloudera Manager Agent,CDH 和一些管理服务安装包,当然也可以手动进行安装。
启动Cloudera Manager Server
注意:如果你想启动Cloudera Manager Server 和 Agent,不能在这之前启动HDFS、MapReduce。
1.在Cloudera Manager Server主机上运行如下的命令:
sudo service cloudera-scm-server start
如果没有正常启动,查看链接定位问题:
http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_troubleshooting.html#cmig_topic_19
启动并登陆Cloudera Manager Admin界面
1.等待几分钟让Cloudera Manager Server完全启动,输入tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
可以观察启动过程。
如果Cloudera Manager Server没有启动,点击 http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_troubleshooting.html#cmig_topic_19 查看安装和升级问题定位
2.在浏览器中输入http://Server host:7180
,Server host是运行CM的主机的限定域名或者ip地址。
3.使用username:admin psw:admin登陆
4.出现用户条款页面, 接受,下一步
选择CM的版本
出现3个版本
基本版 Flex版 企业数据中心版
选择基本版就好了
下一步
选择Cloudera Manager 的hosts主机
选择哪些主机将CDH和管理服务
1.搜索并选择要安装服务的主机
举例:
范围定义 | 匹配的主机 |
---|---|
10.1.1.[1-4] | 10.1.1.1, 10.1.1.2, 10.1.1.3, 10.1.1.4 |
host[1-3].company.com | host1.company.com, host2.company.com, host3.company.com |
host[07-10].company.com | host07.company.com, host08.company.com, host09.company.com, host10.company.com |
点击搜索,勾选需要安装服务的主机
2.点击继续 出现集群安装选择依赖库的界面
选择软件安装方式并安装软件
注意: 你不能使用Parcels包和tar包在同一集群安装软件。如果你已经安装了CDH和服务安装包,将不能继续使用parcels安装方式进行
1.选择软件安装方式(Parcles)和对应的版本号
- a.选择要安装的Parcel包
你可以指定要安装的Parcel包的路径,点击“More options”按钮进行如下操作- Parcel包路径指定和本地 Parcel 依赖库的指定 -
如果你改变了默认的 Parcel路径,并且已经安装并启动了Cloudera Manager Agents,需要重新启动Agentssudo service cloudera-scm-agent restart
: - Parcel 依赖 – 在 Remote Parcel Repository URLs 区域,点击“+”按钮输入依赖库的URL。
- 代理服务器的指定
- Parcel包路径指定和本地 Parcel 依赖库的指定 -
- b. 如果你是使用CM安装软件,你可以选择指定一个自定义存储库中的版本,并且提供一个GPG 秘钥的URL路径
2.如果你已经在集群上所有的主机上手动安装了Agent和JDK
- 点击 Continue
- 跳过剩余步骤,直接“添加服务”
3.选择安装Oracle Java SE开发工具包(JDK)
如果您已经安装了JDK,不选择这个选项
4.选择单用户模式(可选),点击“Continue”继续
5.指定主机的一下安装参数
- 选择root用户或者输入用户名称(该用户名拥有执行sudo命令的权限)
- 选择授权方式
- 如果选择了使用password进行授权,输入密码2次
- 如果选择了公钥授权,向指定的key文件输入口令和路径
- 指定SSH端口,这个默认22,不需要动
- 选择默认的最大同时安装软件的主机个数,默认是10
root用户的密码在本步中不会被保存,所以你安装完之后,可以修改用户密码,不会对这些软件的使用造成任何影响
6.点击“Continue”
parcel安装过程中会进行相应的提示
7.如果安装完成,点击“Finish”
添加服务
后期更新
安装方式B--使用ClouderaManager的Parcels包进行安装相关推荐
- *现在感觉librealsense和realsense-ros的安装挺简单的(普通X86平台)(现在发现都有两种安装方式,下载源码编译或者二进制安装)
下面说的就是在普通X86平台上,不是在ARM平台,不在树莓派,TX2这些平台上. 之前潜意识里似乎还觉得会比较麻烦,实际我现在真正再看一下,回看一下,不是这样的.可能就像装双系统一样,实际并不麻烦,跟 ...
- python xlrd安装_详解python中xlrd包的安装与处理Excel表格
一.安装xlrd 地址 下载后,使用 pip install .whl安装即好. 查看帮助: >>> import xlrd >>> help(xlrd) Help ...
- centos7编译安装mysql5.7_在Centos7源码包编译安装MySQL5.7
1.通过国内镜像下载源码包 下载包含boost的源码包 wget http://mirrors.sohu.com/mysql/MySQL-5.7/mysql-boost-5.7.23.tar.gz 2 ...
- CentOS 7.6 安装 Mysql8.0.17 rpm-bundle.tar解包 rpm安装(个人未验证)
安装环境:虚拟机 VMware 15 Pro,CentOS 7.6 (1810) 连接工具:Navicat Premium 12,Xshell Plus 提取码:vilj 注:本文所有操作均已实测,如 ...
- linux7编译mysql5.7安装,CentOS 7.4 使用源码包编译安装MySQL 5.7.20
使用yum安装的MySQL一般版本比较旧,但是运行稳定.如果想要尝试最新的功能或者需要指定特殊的功能的话,就需要手工进行编译安装了. 一.下载安装包 (一).先下载MySQL源码,网址为:https: ...
- linux安装R包的安装
首先在linux系统下,需要安装好R语言,由于依赖环境较多,一般会通过第三方软件库进行安装,比如说miniconda等 R包分以下几种: 镜像包:一般安装方式为:install.packages('' ...
- mysql几种安装方法_mysql的三种安装方式(详细)
安装MySQL的方式常见的有三种: rpm包形式 通用二进制形式 源码编译 1,rpm包形式 (1) 操作系统发行商提供的 (2) MySQL官方提供的(版本更新,修复了更多常见BUG)www.mys ...
- Eclipse插件安装方式
Eclipse插件 Eclipse 是一个已经完全设计好的平台,是用于构建和集成应用的开发工具.平台本身不会提供大量的最终用户功能,平台的价值在于它的促进作用:根据插件模型来快速开发集成功能部件. 平 ...
- 驱动外置+原版安装方式『XLOS_Windows8_Pro_X86纯净版_V1.0』
============================= XLOS_Windows8_Pro_X86纯净版_V1.0============================== ◆◆◆◆◆◆◆本次采 ...
最新文章
- 怎么在S4 HANA中使用40位物料编码
- android中的显示跳转和隐式跳转
- 吊打 Tomcat ,Undertow 性能很炸!!
- 三探·模块拼装思想(静态链接)
- 利用一根同轴电缆互连主机构成以太网,则主机间的通信方式为( )
- echarts鼠标放上去不显示值
- Richard S. Sutton个人主页翻译
- 区块链与java的应用开发_用 Java 开发一个区块链
- R语言系列:分布一致性和离散一致性检验
- 海美迪盒子android升级包,海美迪H5固件升级ROM系统刷机包下载_刷机教程
- node.js安装和卸载问题could not access network location *\Program...
- 离线语音空调插座设计应用案例
- 微信商户批量转账到零钱
- 浅谈建站经验之网站建设的流程与步骤
- 【每日AI】什么是维数?
- java tetris_Java | Tetris
- BAT 遍历文件夹和子文件夹下所有文件
- 得之坦然,失之淡然,顺其自然,争其必然。真的太经典了啊!
- python Numpy中array详解
- Linux内存管理之kmalloc、malloc、vmalloc的区别
热门文章
- 12、Zabbix 结合Grafana
- 判断矩形是否相交(包含,点相交,边相交)
- mysql8.0.17数据库的搭建-windows
- 使用bat脚本运行jar程序 cmd下解决乱码问题
- selenium+python自动抢购源码
- Markdown中如何插入EXCEL表格
- jmeter监听器之图形监控扩展
- KSM大解锁:5月将有110万枚KSM可用于Kusama上的DeFi应用
- 为什么要建立计算机网络体系结构标准,请问什么是网络体系结构?为什么要定义网络体系结构?...
- Python数据分析高薪实战第十二天 网络服务用户流失预测分析和国产电视剧评分预测分析