rancher搭建cdh6.2大数据平台

文章目录

前言说明
具体操作
- 1. 搭建方式
- 2. 搭建完成结构图
- 3. 推荐最低配置运行环境
- 4. 搭建步骤搭建步骤
- 5. 启动顺序
- 6. 工作节点添加
- 7. 持久化存储
- 8. 集群创建完成后执行以下命令
- 9. 端口
- - 1、访问页面的UI
  - 2、其他端口
- 10. docker镜像下载地址
- 11. 后续补充学习教程。。。待续

前言说明

 最近部署cdh大数据平台，搜索相关资料发现基于docker部署的文章都相对复杂或存在缺失或不可行，所以请教同事后自行制作镜像，方便以后项目部署使用。本次部署基于rancher2.5.9方式进行搭建，前提你了解rancher,如不了解可自行百度，基于docker镜像，将cdh分为4个镜像包，分别是master、agent、mysql、ntpt,镜像基于centos7.9制作

具体操作

1. 搭建方式

rancher集群k8s离线搭建cdh6.2.0，rancher部署参考

2. 搭建完成结构图

3. 推荐最低配置运行环境

 CPU4核8线程 内存空余30G以上

4. 搭建步骤搭建步骤

基于rancher创建项目与命名空间
ntpd的镜像为: seznam/ntpd:latest
将下载后的文件执行加入docker镜像中心或者仓库，解压缩命令如下：
docker load -i cdh-mysql.6.2.0.tar.gz 其他两个类同
rancher搭建的工作负载名称完全参考第3步骤中的的名称，不可更换其他，如需更改，需调整镜像中的相应位置参数agent节点可随意起名称
rancher部署时，请注意以下图中内容填写：
1、入口 (Entrypoint)：/usr/sbin/init（此步可以制作至镜像中）

2、打开特权模式
配置对外端口服务发现（用到什么端口开放什么端口即可）

5. 启动顺序

 - 先启动   ntpd、   cdh-mysql，在启动    cdh-master，最后启动节点    cdh-agent- 启动cdh-master时需要等server完全启动好后方可启动其他- 进入cdh-master中执行tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log- 当输出日志包含Started jetty server时则代表服务启动成功- cdh管理端端口：默认7180  如rancher配置了对外服务端口为32120那么对外访问端口则为32120- cdh管理端账户：admin/admin  - mysql数据库账户：root/Root@123

6. 工作节点添加

 直接再次启动一个cdh-agent后，进行添加主机节点即可

7. 持久化存储

 由于镜像每次启动会是全新的，所以需要进行持久化存储，对应镜像持久化存储路径如下：（不一定齐全）- cdh-mysql:- 存储路径：/var/lib/mysql/- 配置文件路径：/etc/my.cnf- cdh-master:- cloudera：    /opt/cloudera-HDFS ：         /hbase-HDFS ：         /data/dfs/nn-HDFS ：         /data/dfs/snn-HDFS ：         /data/dfs/dn-hive:             /user/hive/warehouse-cloudera:      /var/lib/cloudera-host-monitor-cloudera:      /var/lib/cloudera-service-monitor-oozie:           /user/oozie-oozie:           /var/lib/oozie/data-yarn:            /data/yarn/nm-zookeeper:   /var/lib/zookeeper-kafka:          /var/local/kafka/data- cdh-agent:

以上内容目录暂不齐全，建议直接将/var、/etc、/opt、/root、/run、/usr全部隐射至外部服务器，由于此镜像为只有cdh的裸镜像，cdh在添加节点时会安装服务、所以讲上述几个目录隐射到本机即可，后续会考虑出安装后的docker镜像

8. 集群创建完成后执行以下命令

hdfs dfs -mkdir /sqoop
测试hdfs是否正常
hadoop dfsadmin -safemode leave
退出安全模式

9. 端口

主要开放cdh-master的端口

1、访问页面的UI

服务	端口
Hbase	60010
Yarn	8088
Azkaban	8081
Hue	8889
Spark	18089
Hdfs	50070
CM	7180

2、其他端口

服务	端口
Cloudera Manager	7180 7183 7182 7432 9000 9001 7184 7185 8084 10101 8086 9997 9996 8087 9999 9998 8090 9995 9994 5678 8083 7186 7187 4867
NameNode 8022
CDH节点	50010 1004 50075 1006 50020 8020 50070 50470 50090 50495 8485 8480 8021 50030 9290 50060 0 8032 8030 8031 8033 8088 8040 8042 8041 10020 19888 60000 60010 60020 60030 2181 2888 3888 8080 8085 9090 9095 9090 9083 10000 16000 12000 12001 3181 4181 8019 9010 8888 8002 8003 11000 11001 7077 7078 18080 18081 14000 14001 9000
jobtracker节点	8023
zookeeper节点	2888
impala节点	21000 21050 22000 23000 25000 25010 25020 24000 26000 28000 15002 15000 15001
solr节点	8983 8984
NTP防火墙	123
httpd防火墙	80
MySQL防火墙	3306

10. docker镜像下载地址

 链接: https://pan.baidu.com/s/12sm9otIPvnWRxa-IUslOGg 提取码: n366

11. 后续补充学习教程。。。待续

rancher搭建cdh6.2大数据平台相关推荐

【Workshshop No.3 | Kyligence X 青云QingCloud Workshop】零基础搭建云上大数据平台
7月13日Kyligence 与青云QingCloud 联合举办的"零基础搭建云上大数据平台" Workshop诚邀您参加. Kyligence Cloud 是 Kyligence ...
搭建好司法大数据平台
近日,司法部印发<关于进一步加强司法行政信息化建设的意见>,要求大力加强司法行政信息化综合管理平台建设,建成涵盖司法行政各项业务的"一站式"司法行政信息化综合管理平台, ...
数据管理解决方案 | 零售行业如何搭建全渠道大数据平台？
后疫情时代,面对艰难的市场竞争环境,零售企业愈发明白数字化的重要性.商品管理.库存管理.会员营销.门店运营......每天都在产生海量且高频次的业务数据,如何实现"数据驱动"是零售 ...
搭建TDH商业大数据平台社区版（附其他主流商业大数据平台下载汇总）
大数据核心原理与实践专栏说明: TDH社区版还挺好用的,无限量续签许可证,如果大家只是想玩玩儿大数据平台,或者刚入行大数据想练手,那么TDH社区版就够用了,避免了你前期安装一系列Hadoop组件的麻 ...
搭建HBase + Phoenix大数据平台
一.介绍因为代驾过程中,需要保存驾驶途中的 GPS 定位,将来计算代驾真实里程的时候,就需要用到这些坐标点.那么这些定位点保存在 MySQL 中可以吗?当然不行,MySQL 单表记录超过两千万就卡的 ...
淘宝、美团、滴滴分别如何搭建大数据平台？
常规的大数据平台架构方案是基于大数据平台Lamda架构设计的.事实上,业界也基本是按照这种架构模型搭建自己的大数据平台. 接着我们来看一下淘宝.美团和滴滴的大数据平台,一方面进一步学习大厂大数据平台的 ...
如何从0到1搭建大数据平台
大数据时代这个词被提出已有10年了吧,越来越多的企业已经完成了大数据平台的搭建.随着移动互联网和物联网的爆发,大数据价值在越来越多的场景中被挖掘,随着大家都在使用欧冠大数据,大数据平台的搭建门槛也越来 ...
网鱼网咖-利用数加快速搭建大数据平台，极致洞察，为客户带来从所未有的体验。...
免费开通大数据服务:https://www.aliyun.com/product/odps "令人惊喜的是,利用阿里云的数加平台,我们差不多一个多月就搭建好了大数据平台,并且可以通过图形化的 ...
网鱼网咖-利用数加快速搭建大数据平台，极致洞察，为客户带来从所未有的体验。
免费开通大数据服务:https://www.aliyun.com/product/odps "令人惊喜的是,利用阿里云的数加平台,我们差不多一个多月就搭建好了大数据平台,并且可以通过图形化的 ...