CM安装部署介绍说明-尚硅谷大数据培训
CM安装部署
CM下载地址:http://archive.cloudera.com/cm5/cm/5/
离线库下载地址:http://archive.cloudera.com/cdh5/parcels
注:以下所有操作均使用root用户
1 解压cloudera-manager-el6-cm5.12.1_x86_64.tar.gz
[root@hadoop102 module]# mkdir /opt/module/cloudera-manager
[root@hadoop102 module]# tar -zxvf /opt/software/cloudera-manager-el6-cm5.12.1_x86_64.tar.gz -C /opt/module/cloudera-manager/
2 创建用户cloudera-scm(所有节点)
[root@hadoop102 cloudera-scm-server]# useradd –system –home=/opt/module/cloudera-manager/cm-5.12.1/run/cloudera-scm-server –no-create-home –shell=/bin/false –comment “Cloudera SCM User” cloudera-scm
–system 创建一个系统账户
–home 指定用户登入时的主目录,替换系统默认值/home/<用户名>
–no-create-home 不要创建用户的主目录
–shell 用户的登录 shell 名
–comment 用户的描述信息
注意:
Cloudera Manager默认用户为cloudera-scm,创建具有此名称的用户是最简单的方法。 安装完成后,将自动使用此用户。
3 配置CM Agent
修改文件/opt/module/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/ config.ini
[root@hadoop102 cloudera-scm-agent]# vim /opt/module/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini
server_host=hadoop102
4 配置CM的数据库
- 拷贝mysql jar文件到目录 /usr/share/java/
[root@hadoop102 share]# mkdir /usr/share/java/
[root@hadoop102 cm-5.12.1]# cp /opt/software/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /usr/share/java/
[root@hadoop102 share]# mv /usr/share/java/mysql-connector-java-5.1.27-bin.jar /usr/share/java/mysql-connector-java.jar
- 注意jar包名称要修改为mysql-connector-java.jar
- 在mysql中创建cm库
[root@hadoop102 cm-5.12.1]# /opt/module/cloudera-manager/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hhadoop102 -uroot -p000000 –scm-host hadoop102 scm scm scm
-h:Database host
-u:Database username
-p:Database Password
–scm-host:SCM server’s hostname
5 分发cloudera-manager
[root@hadoop102 module]# scp -r /opt/module/cloudera-manager/ hadoop103:/opt/module/
[root@hadoop102 module]# scp -r /opt/module/cloudera-manager/ hadoop104:/opt/module/
6 创建Parcel-repo 目录
- Servre 节点创建目录/opt/cloudera/parcel-repo
[root@hadoop102 module]# mkdir -p /opt/cloudera/parcel-repo
[root@hadoop102 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
2.拷贝下载文件到/opt/cloudera/parcel-repo
(1)CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel
(2)CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1:需改名为CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha
(3)manifest.json
[root@hadoop102 cm-5.12.1]# mv /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha
[root@hadoop102 module]# cp /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha /opt/cloudera/parcel-repo/
[root@hadoop102 module]# cp /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel /opt/cloudera/parcel-repo/
[root@hadoop102 module]# cp /opt/software/manifest.json /opt/cloudera/parcel-repo/
3.在Agent 节点(hadoop102,hadoop103,hadoop104)创建目录/opt/cloudera/parcels
[root@hadoop102 module]# mkdir -p /opt/cloudera/parcels
[root@hadoop102 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
[root@hadoop103 module]# mkdir -p /opt/cloudera/parcels
[root@hadoop103 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
[root@hadoop104 module]# mkdir -p /opt/cloudera/parcels
[root@hadoop104 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
7分发Parcel-repo
[root@hadoop102 opt]# scp -r /opt/cloudera/ hadoop103:/opt/
[root@hadoop102 opt]# scp -r /opt/cloudera/ hadoop104:/opt/
8 启动和关闭CM Server&Agent 服务
服务节点:hadoop102
[root@hadoop102 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-server start
Starting cloudera-scm-server: [确定]
工作节点:hadoop102\hadoop103\hadoop104
[root@hadoop102 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start
正在启动 cloudera-scm-agent: [确定]
[root@hadoop103 module]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start
正在启动 cloudera-scm-agent: [确定]
[root@hadoop104 module]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start
正在启动 cloudera-scm-agent: [确定]
注意:启动过程非常慢,Manager 启动成功需要等待一段时间,过程中会在数据库中创建对应的表需要耗费一些时间。
[root@hadoop102 init.d]# netstat -anp | grep 7180
tcp 0 0 0.0.0.0:7180 0.0.0.0:* LISTEN 5498/java
查看被占用则表示安装成功了!!!
访问http://hadoop102:7180,(用户名、密码:admin)
关闭:
服务节点:hadoop102
[root@hadoop102 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-server stop
停止 cloudera-scm-server: [确定]
工作节点:hadoop102\hadoop103\hadoop104
[root@hadoop102 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent stop
Stopping cloudera-scm-agent: [确定]
CM安装部署介绍说明-尚硅谷大数据培训相关推荐
- Hadoop源码编译介绍-尚硅谷大数据培训
前期准备工作 1.CentOS联网 使用能连接外网的CentOS系统虚拟机,使用root用户进行编译,避免出现文件夹权限问题. 2.Jar包准备 从官网下载以下安装包 (1)hadoop-3.1.3- ...
- SQL语法应用介绍-尚硅谷大数据培训
1 CREATE 1.1 CREATE DATABASE 用于创建指定名称的数据库,语法如下: CREATE DATABASE [IF NOT EXISTS] db_name 如果查询中存在IF NO ...
- Azkaban环境配置-尚硅谷大数据培训
Azkaban(单节点)环境配置 1 安装Git // 安装GIT [bigdata@linux ~]$ sudo yum install git // 通过git下载Azkaban源代码 [bigd ...
- Tableau工具使用简介-尚硅谷大数据培训
Tableau概述 作为领先的数据可视化工具,Tableau具有许多理想的和独特的功能.其强大的数据发现和探索应用程序允许您在几秒钟内回答重要的问题.您可以使用Tableau的拖放界面可视化任何数据, ...
- ElasticSearch环境配置-尚硅谷大数据培训
ElasticSearch(单节点)环境配置 // 通过Wget下载ElasticSearch安装包 [bigdata@linux ~]$wget https://artifacts.elastic. ...
- Spark 内存管理存储内存管理_尚硅谷大数据培训
RDD的持久化机制 弹性分布式数据集(RDD)作为 Spark 最根本的数据抽象,是只读的分区记录(Partition)的集合,只能基于在稳定物理存储中的数据集上创建,或者在其他已有的 RDD 上执行 ...
- 电商数据源分析-尚硅谷大数据培训
数据源分析 1 user_visit_action user_visit_action 表:存放网站或者APP 每天的点击流数据.通俗地讲,就是用户对网站/APP 每点击一下,就会产生一条存放在这个表 ...
- 尚硅谷大数据技术Zookeeper教程-笔记01【Zookeeper(入门、本地安装、集群操作)】
视频地址:[尚硅谷]大数据技术之Zookeeper 3.5.7版本教程_哔哩哔哩_bilibili 尚硅谷大数据技术Zookeeper教程-笔记01[Zookeeper(入门.本地安装.集群操作)] ...
- 2019尚硅谷大数据Maven篇一 Maven安装和概念
2019尚硅谷大数据Maven篇一安装和概念 tags: golang 2019尚硅谷 categories: java Maven 安装 依赖 概念 文章目录 2019尚硅谷大数据Maven篇一安装 ...
- 尚硅谷大数据技术Spark教程-笔记01【Spark(概述、快速上手、运行环境、运行架构)】
视频地址:尚硅谷大数据Spark教程从入门到精通_哔哩哔哩_bilibili 尚硅谷大数据技术Spark教程-笔记01[Spark(概述.快速上手.运行环境.运行架构)] 尚硅谷大数据技术Spark教 ...
最新文章
- cobol_将Host Cobol批次和Monolith Webapps移动到云和微服务
- python之路-day19-面向对象之约束
- javascript创建类方法汇总(包含es6语法)
- Linux下C程序插入执行shell脚本
- BW之数据源 增量管理DELTA
- uni-app阻止事件冒泡
- ABP入门系列(19)——使用领域事件
- 信息学奥赛一本通C++语言——1002:输出第二个整数
- catia圆柱转化为圆台_中考难点,最值问题之构造与转化
- VMware中安装Centos 7
- SQL中删除重复数据问题
- java编写蠕虫病毒_网络蠕虫病毒代码分析
- MyBatis-Plus配置全局sql注入器后,BaseMapper中方法失效
- iOS 【陀螺仪 自身旋转角水平面夹角 问题】
- 服务器封包协议号,DHCP协议的租约确认和封包格式
- 基于TI DLP技术的工业级DLP3010光机
- C语言实现简单的五子棋
- Shell脚本-NF、FS(OFS)、RS(ORS)、NR(FNR)
- EXCEL VBA 之录制宏
- 做程序员10年有感,程序员必须要懂的---转自java诺曼底_kleen