背景描述

Cloudera Manager是用于管理CDH群集的B/S应用程序。使用Cloudera Manager，可以轻松部署HADOOP集群，cm为管理工具，也可以集成其他组件简化部署运维成本；主要优化doirs集群增扩容、配置变更、自动重启等操作，可在cm上轻松完成。

功能介绍

Doirs 主界面

暂时为cm默认图表，后续计划增加集群指标。

Frontend功能

sys_log_dir： fe日志配置位置，需要和cm中日志路径配置一致既可以在页面查看相关日志

frontend_server_max_heapsize：用设置fe内存大小的参数，将此值代入脚本启动jvm的

frontend_server_first_start_enabled：开启分的HA模式时，此节点是否第一次启动，开启参数会执行 --helper host:port --daemon

frontend_ha_master_ip：fe启动HA模式时此值为master节点ip，用于fe第一次启动

meta_dir：fe元数据的位置

fe一些重要端口设置，再此页面修改即可，9010为cm端口，请修改。

Frontend 高级配置代码段：在此配置添加需要变更的参数会同步至fe，重启此节点机会生效，免去机器修改配置

Bakend功能

sys_log_dir：和上述fe log配置一致，主要修改log输出配置，fe日志格式问题，暂无法在页面查看相关日志，如遇到启动报错问题，请直接登录机器查看be日志。

storage_root_path：数据存储目录，支持配置多个

SMALL FILE DIR：be的目录，doirs包以parcel的方式存储再每台节点的固定位置，故提出此目录但单独配置，如下user_function_dir，udf_runtime_dir设计初衷一致。

在启动be时需指定描述符的个数，否则会启动报错。

be的一些重要端口，再次页面修改即可代入。

参数变更，再此高级配置代码段添加变更项即可完成修改。

Broker功能

broker_server_max_heapsize ：jvm最大值配置

BROKER LOG DIR：日志存储位置，也需要和cm中日志配置位置相同。

高级配置代码段（安全阀）：参数变更项，此处还新增了hive、hdfs配置，填写相关参数也会代入到broker内，在使用broker拉取数据时不用指定hadoop参数即可。

本次集成主要完成如上功能，后续计划添加一些监控指标。

安装部署

parcel包安装

CDH 支持http协议，将parcel包存放在可以http访问的路径即可

CM安装parcel包

点击cm页面的parcel管理键

选择配置按钮配置新增parcel源，再次选择保存更改

cm的parcel源会出现新增doris地址，再次选择下载，分发，激活即可，doirs的parcel包安装完成

csd的安装部署

在cm管理及界面找到csd的存储位置

将DORIS-1.1.0.jar放在如上4的位置，重启 cm-server服务安装成功

doris服务安装

按照如上步骤安装部署，会在cm添加服务的页面内出现doris组件，按照实际需求安装fe、be、breoker即可，fe实例需要为奇数，否则会有错误提示，be、broker实例最少为1

fe服务安装

上图序列号选填内容

1：log日志输出位置，按需选择

2：fe启动内存，按需填写

3：第一个fe启动，不勾选此参数

4：填写本机ip地址

5、第一个fe启动，不需要填

6、存储元数据的位置

fe端口设置

需要修改fe端口设置，edit端口9010和cm端口冲突，需修改

按照需求填写如上参数，启动fe即可。

feHA安装部署

首先使用 mysql-client 连接到已启动的 FE，并执行：

ALTER SYSTEM ADD FOLLOWER "follower_host:edit_log_port";

或

ALTER SYSTEM ADD OBSERVER "follower_host:edit_log_port";

再次添加fe实例，填写如下信息

序号1、2、5、6和第一次部署fe设置一致，序号3需要勾选，序号4需要填写第一个启动的fe地址，再次启动fe即可，fe成功启动后，需要将序列号3取消，否则fe下次启动会失败

be安装部署

首先使用 mysql-client 连接到已启动的 FE，并执行：

ALTER SYSTEM ADD BACKEND "be_host:be_heartbeat_service_port";

按需修改参数即可，后边三个目录为be 依赖目录建议设置

be端口设置

端口参数设置，建议修改，会有端口冲突问题

按照如上设置，启动be，如出现be启动失败，请登录服务器查看be日志，一般为端口冲突问题。

broker部署

首先使用 mysql-client 连接到已启动的 FE，并执行：

ALTER SYSTEM ADD BROKER broker_name "broker_host:broker_ipc_port";

与上述fe、be设置类似，填写如上参数，启动服务即可

NOTE : CDH5环境在安装parcel 需手动生产.sha的文件，cdh6不需要，生成文件命令：

sha1sum DORIS-1.1.1-el7.parcel | awk '{ print $1 }' > DORIS-1.1.1-el7.parcel.sha

基于1.2.2下载地址如下：

链接: 百度网盘请输入提取码提取码: 0902

欢迎大家自己下载编译：

GitHub - wangmiao1002/doris-cm

1.新增 be节点可通过页面log地址查看be日志

Doris集成cloudera Manager相关推荐

CDH 的Cloudera Manager免费与收费版的对比表
CDH 特性免费版付费版 Deployment, Configuration & Management 系统管理 Automated Deployment & Hadoop Rea ...
Cloudera Manager是什么？
Cloudera Manager是什么? 官方解释:Cloudera Manager是业界公认的用于管理生产中Hadoop的工具. Cloudera Manager是一个管理CDH的端到端的应用. 作 ...
Cloudera Manager 5和CDH5(最新版5.1.3) 安装
关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloud ...
Cloudera Manager安装之利用parcels方式安装3或4节点集群（包含最新稳定版本或指定版本的安装）（添加服务）（CentOS6.5）（五）...
参考博客 Cloudera Manager安装之利用parcels方式安装单节点集群 Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式.rpm ...
VMware Fusion安装cloudera manager
题记:最近使用 VirtualBox 安装CDH,通过host-only + NAT 形式配置网络时,配置起来数次失败.遂选用VMware Fusion 重新尝试. 使用素材硬件环境配置 Mast ...
Cloudera Manager —— 端到端的企业数据中心管理工具
原文本文翻译自 Cloudera Manager 官方手册--CLOUDERA MANAGER : End-To-End Administration for Your Enterprise Dat ...
安装 Cloudera Manager、CDH、KUDU 随手记
转自:https://my.oschina.net/balajinima/blog/862969 一.关于CDH和Cloudera Manager CDH (Cloudera's Distributi ...
Cloudera Manager大数据管理平台介绍
简介 Cloudera企业解决方案包括Cloudera Hadoop发行版(Cloudera's Distribution Including Apache Hadoop,简称CDH),Clouder ...
[CDH安装]--CDH5和Cloudera Manager 5要求和支持的版本
原文: https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html# ...

Doris集成cloudera Manager

背景描述

功能介绍

Doirs 主界面

Frontend功能

Bakend功能

Broker功能

安装部署

parcel包安装

CM安装parcel包

csd的安装部署

doris服务安装

feHA安装部署

be安装部署

broker部署

Doris集成cloudera Manager相关推荐

最新文章

热门文章