CDH6离线安装教程
之前用的是cdh5.12,由于测评公司说版本比较低,有很多漏洞,需要升级,索性直接就升到cdh6算了。
CentOS7下完全离线安装CDH6集群
说明:本文内容所有操作都是在root用户下进行的。
文件下载
首先一些安装CDH6集群的必须文件要先在外网环境先下载好。
Cloudera Manager 6.0.1
CM6 RPM:https://archive.cloudera.com/cm6/6.0.1/redhat7/yum/RPMS/x86_64/
需要下载该链接下的所有RPM文件,由于jdk1.8我在环境准备部分已经手动安装了,所以可以不用下载RPMS/x86_64/
目录下的jdk包oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm
,但是其他4个rpm包一定要下载,保存到cloudera-repos
目录下。
ASC文件:https://archive.cloudera.com/cm6/6.0.1/allkeys.asc
同时还需要下载一个asc文件,同样保存到cloudera-repos
目录下:
/upload/cloudera-repos/
├── allkeys.asc
├── cloudera-manager-agent-6.0.1-610811.el7.x86_64.rpm
├── cloudera-manager-daemons-6.0.1-610811.el7.x86_64.rpm
├── cloudera-manager-server-6.0.1-610811.el7.x86_64.rpm
└── cloudera-manager-server-db-2-6.0.1-610811.el7.x86_64.rpm
0 directories, 4 files
MySQL JDBC驱动
要求使用5.1.26以上版本的jdbc驱动,可点击这里直接下载mysql-connector-java-5.1.47.tar.gz
CDH 6.0.1
CDH6 Parcels:https://archive.cloudera.com/cdh6/6.0.1/parcels/
需要下载CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel
和manifest.json
这两个文件
配置Cloudera Manager yum库
注意:不要尝试使用FTP搭建CM的YUM库!
首先安装httpd
和createrepo
:
yum -y install httpd createrepo
启动httpd
服务并设置开机自启动:
systemctl start httpd
systemctl enable httpd
然后进入到前面准备好的存放Cloudera Manager RPM包的目录cloudera-repos
下:
cd /upload/cloudera-repos/
生成RPM元数据:
createrepo .
[root@cdh601 cloudera-repos]# createrepo .
Spawning worker 0 with 2 pkgs
Spawning worker 1 with 2 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete
然后将cloudera-repos
目录移动到httpd的html目录下:
mv cloudera-repos /var/www/html/
确保可以通过浏览器查看到这些RPM包:
接着在Cloudera Manager Server主机上创建cm6的repo文件(要把哪个节点作为Cloudera Manager Server节点,就在这个节点上创建repo文件):
cd /etc/yum.repos.d
vim cloudera-manager.repo
添加如下内容:
[cloudera-manager]
name=Cloudera Manager 6.0.1
baseurl=http://cdh601/cloudera-repos/
gpgcheck=0
enabled=1
保存,退出,然后执行yum clean all && yum makecache
命令:
安装Cloudera Manager Server
这一步只需要在CM Server节点上操作。
执行下面的命令:
yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server
将会需要很多依赖包,所以说还是有必要搭一个局域网内yum源的:
配置本地Parcel存储库
Cloudera Manager Server安装完成后,进入到本地Parcel存储库目录:
cd /opt/cloudera/parcel-repo
将第一部分下载的CDH Parcel文件(CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel
和manifest.json
)上传至该目录下,然后执行命令生成sha文件:
sha1sum CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel | awk '{ print $1 }' > CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel.sha
然后执行下面的命令修改文件所有者:
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/*
最终/opt/cloudera/parcel-repo
目录内容如下:
安装数据库
MySQL的安装在环境准备部分中已经有说明,这里就跳过MySQL安装了。
数据库配置
CDH官方给的有一份推荐的MySQL的配置内容:
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
transaction-isolation = READ-COMMITTED
# Disabling symbolic-links is recommended to prevent assorted security risks;
# to do so, uncomment this line:
symbolic-links = 0
key_buffer_size = 32M
max_allowed_packet = 32M
thread_stack = 256K
thread_cache_size = 64
query_cache_limit = 8M
query_cache_size = 64M
query_cache_type = 1
max_connections = 550
#expire_logs_days = 10
#max_binlog_size = 100M
#log_bin should be on a disk with enough free space.
#Replace '/var/lib/mysql/mysql_binary_log' with an appropriate path for your
#system and chown the specified folder to the mysql user.
log_bin=/var/lib/mysql/mysql_binary_log
#In later versions of MySQL, if you enable the binary log and do not set
#a server_id, MySQL will not start. The server_id must be unique within
#the replicating group.
server_id=1
binlog_format = mixed
read_buffer_size = 2M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M
# InnoDB settings
innodb_file_per_table = 1
innodb_flush_log_at_trx_commit = 2
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 4G
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT
innodb_log_file_size = 512M
[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
sql_mode=STRICT_ALL_TABLES
配置mysql jdbc驱动
从前面下载好的mysql-connector-java-5.1.47.tar.gz
包中解压出mysql-connector-java-5.1.47-bin.jar
文件,将mysql-connector-java-5.1.47-bin.jar
文件上传至CM Server节点上的/usr/share/java/
目录下并重命名为mysql-connector-java.jar
(如果/usr/share/java/
目录不存在,需要手动创建):
tar zxvf mysql-connector-java-5.1.47.tar.gz
mkdir -p /usr/share/java/
cp mysql-connector-java-5.1.47-bin.jar /usr/share/java/mysql-connector-java.jar
创建CDH所需要的数据库
根据所需要安装的服务参照下表创建对应的数据库以及数据库用户,数据库必须使用utf8编码,创建数据库时要记录好用户名及对应密码:
服务名 | 数据库名 | 用户名 |
---|---|---|
Cloudera Manager Server | scm | scm |
Activity Monitor | amon | amon |
Reports Manager | rman | rman |
Hue | hue | hue |
Hive Metastore Server | metastore | hive |
Sentry Server | sentry | sentry |
Cloudera Navigator Audit Server | nav | nav |
Cloudera Navigator Metadata Server | navms | navms |
Oozie | oozie | oozie |
我这里就先创建4个数据库及对应用户:
mysql> CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
Query OK, 1 row affected (0.11 sec)
mysql> CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
Query OK, 1 row affected (0.00 sec)
mysql> CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
Query OK, 1 row affected (0.00 sec)
mysql> CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
Query OK, 1 row affected (0.00 sec)
mysql> GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'scm';
Query OK, 0 rows affected, 1 warning (0.16 sec)
mysql> GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY 'amon';
Query OK, 0 rows affected, 1 warning (0.00 sec)
mysql> GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY 'rman';
Query OK, 0 rows affected, 1 warning (0.00 sec)
mysql> GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY 'hive';
Query OK, 0 rows affected, 1 warning (0.00 sec)
mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)
查看授权是否正确:
mysql> SHOW GRANTS FOR 'scm'@'%';
+----------------------------------------------+
| Grants for scm@% |
+----------------------------------------------+
| GRANT USAGE ON *.* TO 'scm'@'%' |
| GRANT ALL PRIVILEGES ON `scm`.* TO 'scm'@'%' |
+----------------------------------------------+
2 rows in set (0.00 sec)
mysql> SHOW GRANTS FOR 'amon'@'%';
+------------------------------------------------+
| Grants for amon@% |
+------------------------------------------------+
| GRANT USAGE ON *.* TO 'amon'@'%' |
| GRANT ALL PRIVILEGES ON `amon`.* TO 'amon'@'%' |
+------------------------------------------------+
2 rows in set (0.00 sec)
mysql> SHOW GRANTS FOR 'rman'@'%';
+------------------------------------------------+
| Grants for rman@% |
+------------------------------------------------+
| GRANT USAGE ON *.* TO 'rman'@'%' |
| GRANT ALL PRIVILEGES ON `rman`.* TO 'rman'@'%' |
+------------------------------------------------+
2 rows in set (0.00 sec)
mysql> SHOW GRANTS FOR 'hive'@'%';
+----------------------------------------------------------+
| Grants for metastore@% |
+----------------------------------------------------------+
| GRANT USAGE ON *.* TO 'hive'@'%' |
| GRANT ALL PRIVILEGES ON `metastore`.* TO 'hive'@'%' |
+----------------------------------------------------------+
2 rows in set (0.00 sec)
设置Cloudera Manager 数据库
Cloudera Manager Server包含一个配置数据库的脚本。
- mysql数据库与CM Server是同一台主机
执行命令:/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm
- mysql数据库与CM Server不在同一台主机上
执行命令:/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -h <mysql-host-ip> --scm-host <cm-server-ip> scm scm
安装CDH节点
启动Cloudera Manager Server服务
systemctl start cloudera-scm-server
然后等待Cloudera Manager Server启动,可能需要稍等一会儿,可以通过命令tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
去监控服务启动状态。
当看到INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.
日志打印出来后,说明服务启动成功,可以通过浏览器访问Cloudera Manager WEB界面了。
访问Cloudera Manager WEB界面
打开浏览器,访问地址:http://<server_host>:7180
,默认账号和密码都为admin:
下面就是按步骤往下进行了
CDH6离线安装教程相关推荐
- CDH6.3.2离线安装教程——超级详细版-附带安装包地址
CDH6.3.2离线安装教程 CDH6.3.2离线安装教程 1 首先上传离线安装包到主服务器上 1.1相关文件百度云下载地址 2 配置基础环境 2.1 服务器配置 2.2 每台机器安装常用的工具 2. ...
- gprMax3.0极速离线安装教程
gprMax3.0极速离线安装教程 简介 一.具体安装步骤 1.安装anaconda 2.解压百度网盘中的gprMax文件到对应文件夹 二.测试是否安装成功 简介 探地雷达研究方向目前已经成为了一个研 ...
- VS2022离线安装教程
官方教程下载和安装步骤 https://docs.microsoft.com/zh-cn/visualstudio/install/create-an-offline-installation-of- ...
- Docker离线安装教程(Centos7) 转帖
原文:https://blog.csdn.net/hello_junz/article/details/79882602 centos离线安装docker-ce 目前越来越多的应用采用docker部 ...
- python包离线安装教程_Linux下离线安装Python项目的依赖包
Linux下离线安装Python项目的依赖包 记录下在Linux下离线安装Python项目的依赖包的方法步骤.第一步新建一个site-packages文件夹,把Python项目有需要的依赖包名称导出到 ...
- Windows7下 Cygwin 离线安装教程
一.下载离线安装包 从官网(https://cygwin.com/install.html)下载Cygwin离线包,根据自己系统要求进行选择是64为还是32位. 二.安装 ㈠.下载完成后找到下载的离线 ...
- fluentd离线安装教程
最近需要在一台不同公网的设备上安装fluentd,查找资料大部分都是使用的官网提供的在线安装方式:curl -L https://toolbelt.treasuredata.com/sh/instal ...
- eclipse 下载sts插件及离线安装教程
eclipse sts插件 jar包下载: spring-tool-suite-4-4.8.0.RELEASE-e4.17.0-win32.win32.x86_64.self-extracting.j ...
- Microsoft Visual Studio 2019 下载与离线安装教程
好久没有更新过Visual Studio的版本,博主一直用的还是2015版,近期想要下载最新的2019版本,才发现压根就没有类似之前光盘镜像下载的地方了,唯一可行的方式是自行通过官方安装部署工具从网络 ...
- Visual Studio 2019离线安装教程(脱机安装、局域网安装)
文章目录 项目场景: 问题描述: 解决方案: 1.下载vs引导程序 2.创建文件夹用来存放安装包文件 3. 找到自己需要安装的vs工作负载和组件id 4. 下载离线安装包 参考文献 项目场景: 因为公 ...
最新文章
- outlook express 邮件超过2G时的解决方法
- 分享Kali Linux 2016.2第47周虚拟机
- HDU 3501 Calculation 2
- python的业务场景_python| Binlog务应用场景
- C语言小知识---数据类型
- [Java] 蓝桥杯ADV-136 算法提高 大数加法
- Android SQL删除表、清空表
- 弹出消息框并且转向到上/下页
- PHP 获取微信小程序接口B二维码接口
- 2022上海Java工资收入概览
- gauscoor软件怎么用_比对软件STAR的简单使用
- 在visual stdio中使用Git
- CAD - 初始CAD 工具栏 命令栏
- IDEA设置字体大小之后没有效果的解决方案
- 要点初见:安装教程与二度拓展——基于SUMO的Flow Project(附代码链接)
- 2022年全球与中国GPS天线模块市场现状及未来发展趋势
- Java微信公众号开发之微信素材管理工具类
- Keil暗色模式配置文件
- 「数据库」sql刷题(No.11)
- http://ai.taobao.com/?pid=mm_40428920_1105750338_109783200329
热门文章
- python怎么返回上一行代码_如何返回循环Python中的第一行代码
- vscode+TexLive+SumatraPDF
- 手机12306买卧铺下铺技巧_12306网上购下铺技巧(亲历版)
- 德标螺纹规格对照表_德标等螺纹对照表
- 三菱驱动器参数表_三菱伺服驱动器参数都设置什么啊详细点谢谢
- 乱码转换器在线转换_有了这几款视频下载转换软件,想看的视频都可以随意看了...
- 离散数学 --- 特殊图 --- 欧拉图,哈密顿图
- CMMI证书有效期是多久?到期后自己可以办理吗
- Qt 未找到文件:NMAKE
- 智能车制作——从元器件、机电系统、控制算法到完整的智能车设计|文末赠书