基于CentOS7安装CM
从零开始搭建基于CM的hadoop集群
系统环境
操作系统CentOS7 x64
Cloudera Manger: 5.14.4
CDH:5.14.4
基础环境配置
所有节点修改hostname(重启生效)及hosts
hostnamectl --static set-hostname dt01
配置主机IP映射关系
vi /etc/hosts
关闭防火墙
所有节点关闭防火墙和selinux(重启生效)
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
firewall-cmd --state #查看默认防火墙状态(关闭后显示notrunning,开启后显示running)
关闭selinux
vim /etc/selinux/config
找到SELINUX改为:
SELINUX=disabled
所有节点ssh无密码登录
先在dt01上执行:
ssh-keygen -t rsa #一路回车到完成
ssh-copy-id -i ~/.ssh/id_rsa.pub root@dt0101 #将公钥拷贝到本机的authorized_keys上
再在其他节点分别执行以下命令:
ssh-keygen -t rsa #一路回车到完成
ssh-copy-id -i ~/.ssh/id_rsa.pub root@dt01 #注意此处不变,将公钥拷贝到server01的authorized_keys上
在server01上,将authorized_keys分发到其他节点服务器:
scp ~/.ssh/authorized_keys root@dt02:~/.ssh/
安装说明
通过Yum常用工具的安装
安装EPEL源
yum install epel-release
安装netstat
yum -y install net-tools
安装wget
yum -y install wget
安装telnet
telnet需要安装客户端(telnet)和服务端(telnet-server)
yum -y install telnet telnet-server
安装与设置VIM编辑器
vim编辑器需要安装三个包:
vim-enhanced-7.0.109-7.el5
vim-minimal-7.0.109-7.el5
vim-common-7.0.109-7.el5
- 查看一下你本机已经存在的包,确认一下你的VIM是否已经安装:
输入 rpm -qa|grep vim 这个命令,如何vim已经正确安装,则会显示上面三个包的名称 - 如果缺少了其中某个,比如说: vim-enhanced这个包少了,执行:yum -y install vim-enhanced 命令,它会自动下载安装。
- 如果上面三个包一个都没有显示,则直接输入命令:
yum -y install vim*
即可自动安装,完毕后,即可使用vim编辑器。
安装ntp时间同步软件
为master和slave安装ntp ntpdate --默认已安装
yum install ntp ntpdate -y
master节点
编辑 /etc/ntp.conf
vim /etc/ntp.conf
添加如下内容
server time.windows.com
server s2m.time.edu.cn
server 0.asia.pool.ntp.org
server 1.asia.pool.ntp.org
server 2.asia.pool.ntp.org
server 3.asia.pool.ntp.org
server 127.127.1.0 iburst local clock 当外部时间不可用时,使用本地时间。
restrict 192.168.137.1 mask 255.255.255.0 nomodify 允许更新的IP地址段
启动ntp服务
systemctl start ntpd
systemctl enable ntpd.service 设置开机启动服务
验证服务
ntpq -p
slaver节点
slave节点同步master节点时间
/usr/sbin/ntpdate 72.16.16.124; /sbin/hwclock -w
客户端设置计划任务,每天晚上1点同步时间
crontab -e
05 * * * * root /usr/sbin/ntpdate 192.168.137.3; /sbin/hwclock -w
每五分钟同步一次
解决yum install mysql-server没有可用包的问题
wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
rpm -ivh mysql-community-release-el7-5.noarch.rpm
yum -y install mysql-server
安装JDK(所有节点)
版本jdk-8u74-linux-x64.tar.gz
tar -zxvf jdk-8u74-linux-x64.tar.gz
配置环境变量
vim /etc/profile
在最后面增加:
export JAVA_HOME=/usr/java/jdk1.7.0_80
export CLASSPATH=.:$CLASSPTAH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
安装配置 MySql(主节点)
yum install mysql
yum install mysql-server
service mysqld start(服务启动)
设置用户名和密
– mysqladmin -u root password '111111'
测试登录是否成功
mysql -uroot -p
输入:111111
mysql> USE mysql;
mysql> UPDATE user SET Password=PASSWORD('newpassword') WHERE user='root';
mysql> FLUSH PRIVILEGES;
修改数据库的字符集,查看默认的字符集
mysql> SHOW VARIABLES like 'character%';+--------------------------+----------------------------+
| Variable_name | Value |
+--------------------------+----------------------------+
| character_set_client | utf8 |
| character_set_connection | utf8 |
| character_set_database | latin1 |
| character_set_filesystem | binary |
| character_set_results | utf8 |
| character_set_server | latin1 |
| character_set_system | utf8 |
| character_sets_dir | /usr/share/mysql/charsets/ |
+--------------------------+----------------------------+
8 rows in set (0.00 sec)
可以看出,database、server的字符集为latin1,如果后面在建数据库、数据表时,没有指定utf8,输入中文会变成乱码。MySQL 官网有介绍了更改字符集的方法,修改 mysql 的配置文件
vi /etc/my.cnf# 在 [mysqld] 下面加上这个配置
[mysqld]
character-set-server=utf8# 如果 client 默认不是 utf8,要改成 utf8 则在 [client] 中加上这个配置
[client]
default-character-set=utf8
更改好配置文件后,保存退出,重启 mysql
service mysqld restart
再查看数据库的字符集,已变成utf8,如下
mysql> SHOW VARIABLES like 'character%';
+--------------------------+----------------------------+
| Variable_name | Value |
+--------------------------+----------------------------+
| character_set_client | utf8 |
| character_set_connection | utf8 |
| character_set_database | utf8 |
| character_set_filesystem | binary |
| character_set_results | utf8 |
| character_set_server | utf8 |
| character_set_system | utf8 |
| character_sets_dir | /usr/share/mysql/charsets/ |
+--------------------------+----------------------------+
8 rows in set (0.00 sec)
允许远程登录
mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '111111' WITH GRANT OPTION;
进入 mysql 命令行,创建以下数据库:
create database hive DEFAULT CHARSET utf8;
create database amon DEFAULT CHARSET utf8;
create database hue DEFAULT CHARSET utf8;
create database oozie DEFAULT CHARSET utf8;
create database sentry DEFAULT CHARSET utf8;
GRANT ALL PRIVILEGES
grant all privileges on *.* to 'root'@'10.%' identified by '111111' with grant option;
grant all privileges on cm.* to 'scm'@'10.%' identified by '111111';
grant all privileges on amon.* to 'amon'@'10.%' identified by '111111';
grant all privileges on hive.* to 'hive'@'10.%' identified by '111111';
grant all privileges on oozie.* to 'oozie'@'10.%' identified by '111111';
grant all privileges on hue.* to 'hue'@'10.%' identified by '111111';
grant all privileges on sentry.* to 'sentry'@'10.%' identified by '111111';
flush privileges;
安装 CM Server 和 Agent
mysql-connector-java-5.1.39.jar
下载parcel
CDH-5.14.4-1.cdh5.14.4.p0.3-el7.parcel
CDH-5.14.4-1.cdh5.14.4.p0.3-el7.parcel.sha
cloudera-manager-centos7-cm5.14.4_x86_64.tar.gz
manifest.json
KAFKA-3.0.0-1.3.0.0.p0.40-el7.parcel
KAFKA-3.0.0-1.3.0.0.p0.40-el7.parcel.sha
kafka-manager-1.3.0.4.zip
SPARK2-2.2.0.cloudera2-1.cdh5.12.0.p0.232957-el7.parcel
SPARK2-2.2.0.cloudera2-1.cdh5.12.0.p0.232957-el7.parcel.sha
SPARK2_ON_YARN-2.2.0.cloudera2.jar
cloudera manager 的目录默认位置在/opt 下,解压:
tar xzvf cloudera-manager*.tar.gz
- 将解压后的 cm-5.1.3 和 cloudera 目录放到/opt 目录下。
初始化 CM5 的数据库
将下载好的mysql-connector-java-5.1.39.jar放到下面两个目录中:
/opt/cm-5.14.4/share/cmf/lib/, /opt/cm-5.14.4/share/cmf/cloudera-navigator-server/jars
chown -R root:root /opt/cm-5.14.4
chown -R root:root /opt/cloudera
在主节点初始化 CM5 的数据库:
/opt/cm-5.14.4/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p111111 --scm-host localhost scm scm scm
Agent 配置
修改/opt/cm-5.14.4/etc/cloudera-scm-agent/config.ini 中的 server_host 为主节点的主机名。
同步 Agent 到其他节点
scp -r /opt/cm-5.14.4 root@dt02:/opt/
在所有节点创建 cloudera-scm 用户
useradd --system --home=/opt/cm-5.1.3/run/cloudera-scm-server/ --nocreate-home --shell=/bin/false --comment "Cloudera SCM User" clouderascm
将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中(parcel-repo需要手动创建)。
相关启动脚本
主节点:
/opt/cm-5.14.4/etc/init.d/cloudera-scm-server start/stop启动服务端。
所有节点(包括主节点):
/restart启动Agent服务。/opt/cm-5.14.4/etc/init.d/cloudera-scm-agent start
查看端口是是否被占用
netstat -tunlp | gerp 端口号
CDH5 的安装配置
Cloudera Manager Server 和 Agent 都启动以后,就可以进行
CDH5 的安装配置了。
这时可以通过浏览器访问主节点的 7180 端口
后续界面操作这里不再赘述
注意事项
在/usr/sbin/下创建指向$JAVA_HOME的软链接
java -> /usr/local/jdk1.8.0_74/bin/java
基于CentOS7安装CM相关推荐
- Oracle 11g 基于CentOS7安装并启动em
2019独角兽企业重金招聘Python工程师标准>>> Oracle 11g 基于CentOS7安装并启动em 1.可以在虚拟机或者服务器上安装centos,具体过程省略,建议使用最 ...
- Jumpserver0.4.0基于Centos7安装
基于CentOS7安装jumpserver0.4.0 环境 系统:Centos7.2 IP地址:192.168.198.128 一:准备安装Python3和Python虚拟环境 1.1 安装依 ...
- centos7安装python3.7.4_基于centos7 安装python3.6.4出错的解决方法
基于centos7 安装python3.6.4出错的解决方法 错误:zipimport.ZipImportError: can't decompress data; zlib not availabl ...
- 基于centos7安装nginx
前言 nginx作为一款日常开发中必备的代理服务器,具有非常重要的作用,因此有必要掌握其安装方式: nginx常用的安装方式有yum 安装和源码安装,本篇以源码安装为例进行说明 环境准备 1.基于ce ...
- 基于centos7安装zabbix3.4.11
(一)zabbix简介 基于Web界面的分布式系统监控的企业级开源软件.可以监控各种系统与设备,网络参数,保证服务器设备安全运营:提供灵活的通知机制. (二) Zabbix的特点和功能 1.特点 1) ...
- centos 安装java_自己动手基于centos7安装docker及如何发布tomcat镜像
欢迎关注我的头条号:Wooola,专注于Java.Golang.微服务架构,致力于每天分享原创文章.快乐编码和开源技术. 前言 在安装docker之前,先要检查centos7的内核版本,docker要 ...
- 基于Centos7安装Docker1.19
前言 因新项目需要,需要搭建统一部署平台,虽然Docker安装比较简单,这里再次记录一下安装过程,方便大家,时下Docker已成为软件开发必备的部署容器,其好处不用多言,比如: 快速交付和部署 安全轻 ...
- 基于centos7安装多实例mysql8.0完整版(超级详细)
前言: 这个才是真正的mysql的安装方法 其他的方法,说实话,没啥意思 安装多实例mysql,以前一直失败,踩了不少的坑,终于安装成功了 ,今天就记录一下找整个centos系统下安装多台mysql的 ...
- 【Windows】Windows10基于VMware安装CentOS7的全面教程
文章目录 前言 安装 VMware Player 下载 CentOS 阿里云 iso 镜像 使用 BIOS 配置 Intel VT-x 安装配置CentOS 登录的坑 VMX文件损坏 选择语言的问题 ...
- centos7 基于Kubernetes 安装dashboard
目录 1.创建新目录 2.创建kubernetes-dashboard管理员角色 3.获取token 4.使用管理员角色登陆kubernetes-dashboard web界面 1.创建新目录 在ma ...
最新文章
- EM不同气候条件下土壤稀有与丰富微生物类群的分化策略
- 图像去噪--Noise2Noise: Learning Image Restoration without Clean Data
- 九年级数学解方程50道_九年级数学知识点总结与重点难点总结,考前必看!
- ajax jq 图片上传请求头_全面分析前端的网络请求方式:Ajax ,jQuery ,axios,fetch
- Callable与Future的介绍
- 七大因素阻碍非标自动化行业发展,那么应对的策略是什么呢?
- UpdatePanel的妙用:Incremental Content
- 计算机基础术语巧记,报考28个专业术语,你都知道吗?掌握这些才算入门!
- Java基本类型与类型转换咋就这么烦?
- 达梦数据库/DM7迁移之导出sql脚本
- setup factory 结束进程
- 家庭财务管理系统的设计与实现(Java毕业设计-Springboot)
- bilibili弹幕获取api
- 【Git\GitHub\GitLab学习笔记】版本控制 Git 视频教程全集(62P)| 6 小时从入门到精通(P27-P41)
- [渝粤教育] 西南科技大学 材料力学 在线考试复习资料(1)
- php检测硬件代码,查看“硬件设置”的源代码
- 如何在 iPhone 上恢复微信聊天记录!
- 奖励稀疏_好奇心解决稀疏奖励任务
- caxa电子图板2022软件
- 潍坊一个月收入多少算正常?