Cloudera Manager 环境搭建
Cloudera Manager 环境搭建
- ClouderaManager环境安装前准备
- 搭建3台服务器
- 修改网卡
- 修改ip地址
- 更改主机名
- 更改主机名与IP地址的映射
- 关闭防火墙
- 关闭selinux
- SSH免密登录
- 安装MySQL
- 安装JDK
- 三台机器时钟同步
- 解除linux系统打开文件最大数量的限制
- 设置linux交换区内存
- ClouderaManager安装资源下载
- 启动服务
- 浏览器页面访问
ClouderaManager环境安装前准备
这里我们准备三台虚拟机,其中一台作为我们的主节点,安装我们的ClouderaManager Server与ClouderaManager agent,另外两台作为我们的从节点只安装我们的clouderaManager agent
对虚拟机内存要求较高
搭建3台服务器
搭建3台服务器(克隆或者新建)
修改网卡
vim /etc/udev/rules.d/70-persistent-net.rules
修改ip地址
vim /etc/sysconfig/network-scripts/ifcfg-eth0
更改主机名
vim /etc/sysconfig/network
更改主机名与IP地址的映射
vim /etc/hosts
关闭防火墙
service iptables stop
chkconfig iptables off
关闭selinux
vim /etc/selinux/config
SELINUX=disabled
SSH免密登录
Linux:ssh无密码跳转登录目标服务器
安装MySQL
安装MySQL及其驱动
通过yum源,在线安装mysql
yum install mysql mysql-server mysql-devel
/etc/init.d/mysqld start
/usr/bin/mysql_secure_installation
进入mysql客户端执行以下命令
grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
flush privileges;
将mysql-connector-java-5.1.27-bin.jar拷贝到/usr/share/java路径下,并重命名
mv mysql-connector-java-5.1.27-bin.jar mysql-connector-java.jar
分发驱动到其他节点
安装JDK
JDK1.8安装部署
将cm1中的JDK和环境变量分发到cm02、cm03两台主机
三台机器时钟同步
三台机器需要进行时钟同步操作,保证三台机器时间相同
启动NTP服务 service ntpd start
crontab -e
*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;
解除linux系统打开文件最大数量的限制
三台机器都需要执行
vi /etc/security/limits.conf添加以下内容* soft noproc 11000
* hard noproc 11000
* soft nofile 65535
* hard nofile 65535
设置linux交换区内存
三台机器都要执行
echo 10 > /proc/sys/vm/swappiness并编辑文件sysctl.conf:
vim /etc/sysctl.conf
添加或修改
vm.swappiness = 0三台机器都要执行:
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled并编辑文件rc.local :
vim /etc/rc.localecho never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
ClouderaManager安装资源下载
第一步:下载安装资源并上传到服务器
我们这里安装CM5.14.0这个版本,需要下载以下这些资源,一共是四个文件即可
下载cm5的压缩包
下载cm5的压缩包具体文件地址
下载cm5的parcel包
第一个文件具体下载地址
第二个文件具体下载地址
第三个文件具体下载地址
将这四个安装包都上传到第一台机器的/export/softwares路径下
第二步:解压压缩包到指定路径
解压CM安装包到/opt路径下去
tar -zxvf cloudera-manager-el6-cm5.14.0_x86_64.tar.gz -C /opt/
第三步:将我们的parcel包的三个文件拷贝到对应路径
将我们的parcel包含三个文件,拷贝到/opt/cloudera/parcel-repo路径下面去,并记得有个文件需要重命名
cp CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1 manifest.json /opt/cloudera/parcel-repo/重命名标黄的这个文件
cd /opt/cloudera/parcel-repo/
mv CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1 CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha
第四步:所有节点添加普通用户并给与sudo权限
在所有节点机器上面添加普通用户并赋予sudo权限
执行以下命令创建普通用户cloudera-scm
useradd --system --home=/opt/cm-5.14.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm赋予cloudera-scm普通用户的sudo权限
visudocloudera-scm ALL=(ALL) NOPASSWD: ALL
第五步:更改主节点的配置文件
cm1机器上面更改配置文件
vim /opt/cm-5.14.0/etc/cloudera-scm-agent/config.ini
server_host=cm1
第六步:将/opt目录下的安装包发放到其他机器
将第一台机器的安装包发放到其他机器
cd /opt
scp -r cloudera/ cm-5.14.0/ cm02:/opt
scp -r cloudera/ cm-5.14.0/ cm03:/opt
第七步:创建一些数据库备用
cm1机器上面创建数据库
hive 数据库
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;集群监控数据库
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;hue 数据库
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;oozie 数据库
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;相应数据库授权
grant all on amon.* to 'reports'@'%' identified by '123456';
grant all on oozie.* to 'oozie'@'%' identified by '123456';
grant all on hue.* to 'hue'@'%' identified by '123456';
grant all on hive.* to 'hive'@'%' identified by '123456';
grant all on *.* to 'root'@'%' identified by '123456';
第八步:准备数据库连接的驱动包
在所有机器上面都准备一份数据库的连接驱动jar包放到/usr/share/java路径下
准备一份mysql的驱动连接包,放到/usr/share/java路径下去
wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.45.tar.gz
tar -zxvf mysql-connector-java-5.1.45.tar.gz
cd /export/softwares/mysql-connector-java-5.1.45
cp mysql-connector-java-5.1.45-bin.jar /usr/share/java/mysql-connector-java.jar拷贝驱动包到其他机器
cd /usr/share/java
scp mysql-connector-java.jar cm02:$PWD
第九步:为clouderaManager创建数据库
node01服务器执行
/opt/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh mysql -hcm01 -uroot -p123456 --scm-host cm01 scm root 123456
命令说明:/opt/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh 数据库类型 -h数据库主机 –u数据库用户名 –p数据库密码 --scm-host cm主机 数据库名称 用户名 密码
启动服务
启动mysql
/etc/init.d/mysqld start主节点启动clouderaManager Server与ClouderaManager agent服务
/opt/cm-5.14.0/etc/init.d/cloudera-scm-server start
/opt/cm-5.14.0/etc/init.d/cloudera-scm-agent start
从节点cm2和cm3启动ClouderaManager agent服务
/opt/cm-5.14.0/etc/init.d/cloudera-scm-agent start所有节点:
ntpdate -u time1.aliyun.com
service ntpd restart
浏览器页面访问
http://cm01:7180
默认用户名admin
密码 admin
Cloudera Manager 环境搭建相关推荐
- Cloudera Manager环境搭建【二】
文章目录 CM环境搭建 1. 目标 2. Linux配置优化 2.1 Swappiness虚拟内存 2.2 关闭内存动态分配(内存页*透明化*) 2.3 最大文件句柄 2.4 最大派生进程数 2.5 ...
- Cloudera Manager的安装
https://www.jianshu.com/p/e6a09ddb4d6d 一.Linux系统的安装 安装Linux CentOS 7.1系统 设置网络 配置IP与主机之间的映射,命令如下: vi ...
- 搭建本地Yum软件源安装Cloudera Manager 5
记录操作过程,不过多介绍相关知识以及原理,有问题自行百度或留言讨论. 一.搭建web服务服务器 有两台虚拟机,elephant用于安装cdh-server相关作为管理者,monkey用于安装cdh-a ...
- Cloudera Manager集群(CDH6.2.0.1)完整搭建指南
目录 引子 下载所有安装包准备离线安装 大数据安装前的环境规划 基础环境准备 host名与ip绑定 各主机间设成免密登录 安装openjdk 各节点间关selinux关firewalld 然后使用以下 ...
- cloudera环境搭建
一.cloudera背景介绍 Cloude Manager概述: CDH是Cloudera公司对整体hadoop集群环境进行监控与管理的企业级大数据管理平台. Cloudera Manager分为: ...
- Cloudera Manager安装CDH6教程-(二)搭建Cloudera和CDH6
Cloudera Manager安装CDH6教程-(一)虚拟环境安装配置 CDH6的搭建维护以及使用技巧 资料 链接: https://pan.baidu.com/s/1g-OOE5I3rEnRLZ3 ...
- 使用Cloudera Manager搭建zookeeper集群及HDFS HA实战篇
使用Cloudera Manager搭建zookeeper集群及HDFS HA实战篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.使用Cloudera Manager搭建zo ...
- Cloudera Manager 5 和 CDH5 本地(离线)安装指南(Hadoop集群搭建)
转载:http://www.wangyongkui.com/hadoop-cdh5. 系统环境 4台联想R510服务器,其中master节点4核心.8GB,其它节点双核心.4GB. 网卡:100M. ...
- Cloudera Manager搭建集群服务器启动失败
问题: cloudera manager搭建集群的服务器暂停一段时间后,启动失败. 解决办法: 可能是因为server和agent没有启动在Linux下启动server和agent,重启监控界面的服务 ...
- Cloudera Manager安装
系统环境搭建 1.网络配置(所有节点) vi /etc/sysconfig/network vi /etc/hosts 2.SSH免密钥登录 ssh-keygen -t rsa -P '' -f ~/ ...
最新文章
- 优先级调度算法实现_「kernel」 - 磁盘IO调度算法
- python产品缺陷_基于python从redmine-api中获取项目缺陷数据(1)
- XCTF-MISC-新手区-坚持60s
- springboot设置UTF-8
- php点击价格_按价格从高到低排序和从低到高排序_可点击切换,WooCommerce 教程:[解决] 排序,航运成本 – 从低到高...
- Navicat怎么看oracle作业,[数据库] Navicat for Oracle基本用法图文介绍
- oracle imp导入修改字符集,Oracle中IMP导入数据时提示字符集不一致解决
- 16F877A和24C02通信汇编语言,PIC16f877A读写24c02程序
- python基础代码大全-【01】Python基础入门 (全)
- 前端-JavaScript1-6——JavaScript之变量类型的转换
- 对所谓原生软件的偏执
- 纯净菜单栏优化管理:Bartender 4 for Mac支持 Monterey
- Ibatis结合MySQL数据库的使用方法
- 那些年,我们一起学过的汇编----之子程序设计
- 电压比较器的原理与应用
- 机械系统传动创新组合设计实验台,QY-JXSX08
- 《软件工程》网上书店项目需求规格说明书
- Apollo学习笔记(6)module control
- 全自动微信淘宝客推广赚钱方式大揭秘
- mysql是正排还是倒排_正排索引与倒排索引的理解
热门文章
- 1901~2100年节气表
- Scala zio-actors与akka-actor集成
- Photoshop制作电影胶片效果
- phpmail通过qq发邮箱失败_PHP下利用PHPMailer配合QQ邮箱下的域名邮箱发送邮件
- P3369 【模板】普通平衡树 Treap树堆学习笔记
- 初等变换:矩阵与行列式
- html页面访pdf样式,html网页布局模板.pdf
- windows11截屏快捷键失效
- html标签选择器只认最后一个,选择某类的最后一个元素——CSS3伪类选择器走过的坑...
- orc识别 语音识别 云真机 内网穿透快速调研