CM5.11.0安装笔记

1.配置网络

[root@server1 ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0
HWADDR=00:0C:29:2b:f8:e0
TYPE=Ethernet
UUID=c2618c28-e1b5-46da-9124-2af371aa5df1
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.80.165
NETMASK=255.255.255.0
GATEWAY=192.168.80.2

2.安装jdk
略
3.配置hosts


[root@server1 ~]# vi /etc/hosts192.168.80.165 server1
192.168.80.166 server2
192.168.80.167 server3

4.关闭防火墙和selinux

chkconfig iptables off[root@server1 ~]# vi /etc/selinux/config
SELINUX=disabled

5.ssh免密码

[root@server1 ~]# ssh-keygen -t rsa
每台都要执行每台机器运行命令
ssh-copy-id server1
ssh-copy-id server2
ssh-copy-id server3

6.安装ntp

设置开机启动
yum install –y ntp
chkconfig ntpd on
设置时间同步

7.配置安装mysql

[root@server1 mysource]# yum install -y mysql mysql-server mysql-devel[root@server1 mysource]# chkconfig mysqld on[root@server1 mysource] # service mysqld start[root@server1 mysource] # mysqlmysql> use mysql;mysql> grant all privileges on *.* to 'root'@'%' identified by '111111' with grant option;
Query OK, 0 rows affected (0.00 sec)mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)mysql> delete from user where host !='%';mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

8 安装依赖包 (3台机器都要装)

yum install -y chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

9.安装cm server和angent

上传cm 安装包和 cdh的文件到server1的 /usr/java/mysource目录

其他台机器也要创建 mkdir /usr/java/mysource 目录

并且把cm安装包上传到该目录

10.建立目录(默认的目录) 三台都要创建并解压

mkdir /opt/cloudera-manager
tar xzvf cloudera-manager*.tar.gz -C /opt/cloudera-manager

11.创建用户 cloudera-scm

[root@server1 mysource]# useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

12.配置cm agent

修改文件 /opt/cloudera-manager/cm-5.11.0/etc/cloudera-scm-agent/config.ini
修改: server_host=server1 (指定server是server1 3台都改)

13.拷贝mysql的驱动包到 /usr/share/java (名称改为mysql-connector-java.jar,没有文件夹就创建)
14.Mysql 创建用户

mysql> grant all on *.* to 'cmmanager'@'%' identified by 'cmmanager' with grant option;
mysql> flush privileges;

15.执行脚本(只在server1)

切换目录: [root@server1 java]# cd /opt/cloudera-manager/cm-5.11.0/share/cmf/schema/
执行:
[root@server1 schema]# ./scm_prepare_database.sh mysql cmmanager -h server1 -ucmmanager -pcmmanager --scm-host server1 scm scm scm

16.创建parcel目录:(注意如果不赋予权限安装cm不会出现本地源的parcel)

server:
[root@server1 schema]# mkdir -p /opt/cloudera/parcel-repo
[root@server1 schema]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/*agent:
[root@server1 schema]# mkdir -p /opt/cloudera/parcels
[root@server1 schema]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels/*

17.copy parcel文件

[root@server1 parcel-repo]# cp /usr/java/mysource/CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel* ./
[root@server1 parcel-repo]# cp /usr/java/mysource/manifest.json ./

18.启动cm

三台机器都切换到: cd /opt/cloudera-manager/cm-5.11.0/etc/init.d/
启动server: [root@server1 init.d]# ./cloudera-scm-server start
启动agent(3台都执行): ./cloudera-scm-agent start[root@server1 init.d]# ./cloudera-scm-server start
Starting cloudera-scm-server:                              [  OK  ]
[root@server1 init.d]# ./cloudera-scm-agent start
Starting cloudera-scm-agent:                               [  OK  ]
[root@server1 init.d]#

19.观察log:

/opt/cloudera-manager/cm-5.11.0/log
执行成功:log为:
2017-05-24 21:13:21,335 INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.

20.访问cm

http://192.168.80.165:7180/cmf/login

22.登录

账号密码默认admin

选择所有主机,下一步:

没有本地的5.11的源,查看原来是

所有节点执行: chown cloudera-scm:cloudera-scm /opt/cloudera/*
然后重启server和agent,然后在访问cm的web界面重复上面的操作

不知道为啥… 还是没有cm5.11的源…..

注意:

后面终于发现,原来是CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel.sha1文件的后缀应为sha,修改了CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel.sha1为CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel.sha 然后又重启服务,发现cm5.11 终于出来了!!!然后点击下一步

执行:
[root@server1 vm]# echo 10 > /proc/sys/vm/swappiness
[root@server1 vm]# echo never > /sys/kernel/mm/transparent_hugepage/defrag
[root@server1 vm]# echo never > /sys/kernel/mm/transparent_hugepage/enabled

vi /etc/rc.local 并保存

#!/bin/sh
#
# This script will be executed *after* all the other init scripts.
# You can put your own initialization stuff in here if you don't
# want to do the full Sys V style init stuff.touch /var/lock/subsys/local
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

自定义安装(只安装hdfs yarn zk):

角色分配:

默认配置继续:

执行安装界面:

安装失败:

内存不够,命令超时,重试….

还是失败

将server的内存,重启系统,重试…

还是不行,界面如下:

再重启整个集群,终于成功了:

不过用的自己笔记本的虚拟机,实在是太卡了,不过还是搞定了,睡觉..

CM5.11.0安装笔记相关推荐

Debian 11 “bullseye” 安装笔记
Debian 11 "bullseye" 安装笔记请访问原文链接:https://sysin.org/blog/debian-11-install/,查看最新版.原创作品,转载请 ...
神马笔记版本2.11.0——歌词笔记
神马笔记版本2.11.0--歌词笔记一.目标二.下载地址三.功能介绍四.开发过程回顾五.遇到的问题六.Finally 终于实现歌词笔记的第一版本了. 支持从网易云音乐和酷狗音乐导入歌词文 ...
Linux下MySQL 5.5.11编译安装笔记(待验证)
MySQL 最新的版本5.5.11需要cmake编译安装,估计以后的版本也会采用这种方式,网上找了一些安装方法有些地方是错的,自己整理一份所以特地记录一下安装步骤及过程,以供参考! 1. mysql ...
k8s1.11.0安装、一个master、一个node、查看node名称是ip、node是扩容进来的、带cadvisor监控服务...
一个master.一个node.查看node节点是ip# 安装顺序:先在test1 上安装完必要组件后,就开始在 test2 上单独安装node组件,实现node功能,再返回来配置test1加入集群, ...
hive-0.11.0安装方法具体解释
先决条件: 1)java环境,须要安装java1.6以上版本号 2)hadoop环境,Hadoop-1.2.1的安装方法參考 hadoop-1.2.1安装方法具体解释本文採用的had ...
PostMan9.11.0安装以及汉化教程
一,下载安装包链接:https://pan.baidu.com/s/1m8WFO8JoKRgsSA-Lxk4RTg 提取码:6789 双击直接安装安装完成后直接在桌面创建一个图标,双击图标打开软 ...
vCenter6.0安装笔记
安装条件一般来说vCenter安装在Windows Server操作系统上,自带一个SQL Server Express数据库,但自带的数据仅能支持少量主机和虚拟机,如果是企业级大规模部署的话还是建 ...
win10+vs2019+pcl1.11.0安装教程
看pointnet论文的时候发现有点云的可视化,但里面的可视化好像是基于CAD做的,正好最近我在用c++处理一些点云数据,就想着怎么直接把点云显示出来,就找到了PCL库,与opencv类似,openc ...
linux搭建erp教程,Ubuntu 12.04+OpenERP7.0安装笔记
不经意的一次看到OpenERP这个开源ERP,就被其丰富的功能,简洁的画面,熟悉的语言所吸引.迫不及待的多方查询资料,自己架设一个测试环境来进行了解.以下为Ubuntu 12.04下测试安装时候的步骤 ...

CM5.11.0安装笔记

注意:

CM5.11.0安装笔记相关推荐

最新文章

热门文章