简介: 本文介绍了Cloudera Manager 的常见术语和架构

Cloudera Manager 术语

为了有效地使用Cloudera Manager,您应该首先了解其术语。

术语之间的关系如下所示,其定义如下:

有时,术语服务和角色用于同时指代类型和实例,这可能会造成混淆。Cloudera Manager 和本节有时对类型和实例使用相同的术语。例如,Cloudera Manager 管理控制台的“主页” >“状态”选项卡和“集群” >“ ClusterName” 菜单列出了服务实例。这类似于编程语言中的惯例,其中“字符串”一词可能表示类型(java.lang.String)或该类型的实例(“ hi there”)。在需要区分类型和实例的地方,单词“ type”被附加以指示类型,而单词“ instance”被附加以显式指示实例。

部署

Cloudera Manager 及其管理的所有集群的配置。

动态资源池

在 Cloudera Manager 中,这是资源的命名配置,以及用于在池中运行的 YARN 应用程序或 Impala 查询之间调度资源的策略。

集群

  • 包含 HDFS 文件系统并对该数据运行 MapReduce 和其他进程的一组计算机或计算机机架。
  • 在 Cloudera Manager 中,是一个逻辑实体,包含一组主机,在主机上安装的单个版本的 Cloudera Runtime 以及在主机上运行的服务和角色实例。一台主机只能属于一个集群。Cloudera Manager 可以管理多个集群,但是每个集群只能与一个 Cloudera Manager Server 关联。

主机

在 Cloudera Manager 中,是运行角色实例的物理或虚拟机。一台主机只能属于一个集群。

机架

在 Cloudera Manager 中,是一个物理实体,包含一组通常由同一交换机提供服务的物理主机。

服务

  • 在尽可能可预测的环境中运行在/etc/init.d/定义的 System V 初始化脚本的 Linux 命令 ,删除大多数环境变量并将当前工作目录设置为/。
  • Cloudera Manager 中的托管功能类别,可以在集群中运行,有时称为服务类型。例如:Hive、HBase、HDFS、YARN 和 Spark。

服务实例

在 Cloudera Manager 中,是在集群上运行的服务的实例。例如:“ HDFS-1”和“yarn”。服务实例跨越许多角色实例。

角色

在 Cloudera Manager 中,服务中的功能类别。例如,HDFS 服务具有以下角色:NameNode、SecondaryNameNode、DataNode 和 Balancer。有时称为角色类型。

角色实例

在 Cloudera Manager 中,是在主机上运行的角色的实例。它通常映射到 Unix 进程。例如:“ NameNode-h1”和“ DataNode-h1”。

角色组

在 Cloudera Manager 中,这是一组角色实例的一组配置属性。

主机模板

Cloudera Manager 中的一组角色组。将模板应用于主机时,将创建每个角色组中的角色实例并将其分配给该主机。

网关

一种角色类型,通常为客户端提供对特定群集服务的访问权限。例如,HDFS、Hive、Kafka、MapReduce、Solr 和 Spark 各自具有网关角色,以为其客户提供对其各自服务的访问。网关角色并非总是在其名称中带有“网关”,也不是专门用于客户端访问。例如,Hue Kerberos Ticket Renewer 是一个网关角色,用于代理 Kerberos 中的票证。

支持一个或多个网关角色的节点有时称为网关节点或边缘节点,在网络或云环境中常见“边缘”的概念。对于 Cloudera 集群,当从 Cloudera Manager 管理控制台的“操作”菜单中选择“部署客户端配置”时,群集中的网关节点将接收适当的客户端配置文件。

Parcel

二进制分发格式,包含编译的代码和元信息,例如程序包描述、版本和依赖项。

静态服务池

在 Cloudera Manager 中,是跨一组服务的总群集资源(CPU,内存和I / O权重)的静态分区。

Cloudera Manager 架构

如下所示,Cloudera Manager 的核心是 Cloudera Manager Server。服务器托管Cloudera Manager 管理控制台、Cloudera Manager API 和应用程序逻辑、并负责安装软件、配置、启动和停止服务以及管理在其上运行服务的集群。

Cloudera Manager Server 与其他几个组件一起使用:

  • 代理-安装在每台主机上。该代理负责启动和停止进程、解包配置、触发安装以及监控主机。
  • 管理服务-由一组角色组成的服务,这些角色执行各种监控、警报和报告功能。
  • 数据库-存储配置和监控信息。通常,多个逻辑数据库跨一个或多个数据库服务器运行。例如,Cloudera Manager Server 和监控角色使用不同的逻辑数据库。
  • Cloudera 存储库-由 Cloudera Manager 分发的软件存储库。
  • 客户端-是与服务器交互的接口:
  • Cloudera Manager 管理控制台 -基于Web的用户界面,管理员用于管理集群和Cloudera Manager。
  • Cloudera Manager API -API 开发人员用于创建自定义 Cloudera Manager 应用程序。

心跳

心跳是 Cloudera Manager 中的主要通信机制。默认情况下,代理每15秒将心跳发送一次到 Cloudera Manager Server。但是,为减少用户等待时间,在状态更改时增加了频率。

在心跳交换期间,代理会将其活动通知给 Cloudera Manager Server。反过来,Cloudera Manager Server 响应代理应执行的操作。代理和 Cloudera Manager Server 最终都进行了一些协调。例如,如果您启动服务,则代理将尝试启动相关进程;否则,代理将尝试启动相关进程。如果进程无法启动,则 Cloudera Manager Server 会将启动命令标记为失败。

原文链接
本文为阿里云原创内容,未经允许不得转载。

Cloudera Manager 术语和架构相关推荐

  1. Cloudera Manager 5 Overview

    cloudera manager是一个end-to-end的应用,用于管理CDH集群. Cloudera Manager is an end-to-end application for managi ...

  2. Cloudera Manager 5.3 和 CDH5.3.0 本地(离线)

    为什么80%的码农都做不了架构师?>>>    声明一下:http://my.oschina.net/dataRunner/blog/369129    是本人所写,并非抄袭. 有部 ...

  3. Cloudera Manager 4.6 安装部署hadoop CDH集群

    Cloudera Manager 4.6 安装详解 1. Cloudera Manager介绍 1.1. 功能介绍 Cloudera Manager是一个针对hadoop集群的管理工具,功能包括:cd ...

  4. Cloudera Manager是什么?

    Cloudera Manager是什么? 官方解释:Cloudera Manager是业界公认的用于管理生产中Hadoop的工具. Cloudera Manager是一个管理CDH的端到端的应用. 作 ...

  5. VMware Fusion安装cloudera manager

    题记:最近使用 VirtualBox 安装CDH,通过host-only + NAT 形式配置网络时,配置起来数次失败.遂选用VMware Fusion 重新尝试. 使用素材 硬件 环境配置 Mast ...

  6. cloudera manager整体介绍

    体系架构 Cloudera Manager的核心是Cloudera Manager Server.Server托管Admin Console Web Server和应用程序逻辑.它负责安装软件.配置. ...

  7. [CDH安装]--CDH5和Cloudera Manager 5要求和支持的版本

    原文: https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html# ...

  8. CentOS 7下Cloudera Manager及CDH 6.0.1安装教程

    概念介绍 CDH 概览 CDH是Apache Hadoop和相关项目的最完整.最受测试和最流行的发行版.CDH提供Hadoop的核心元素-可伸缩存储和分布式计算-以及基于web的用户界面和重要的企业功 ...

  9. 客快物流大数据项目(二十七):Cloudera Manager简单介绍

    目录 Cloudera Manager简单介绍 一.cloudera manager的概念 二.cloudera manager的功能 三.cloudera manager的架构 <

最新文章

  1. 医学研究——造福全人类
  2. HanLP二元核心词典详细解析
  3. 【Cocosd2d实例教程七】Cocos2d实现超炫的粒子效果!!
  4. mysql 有always on么,mysql 关于时间类型的刨坑之路
  5. 计算机视觉——图像预处理及边缘检测
  6. C# Word控件 dsoframer、office viewer、pageoffice、setparent
  7. Extjs4.2或以上 使用自定义事件时报错问题
  8. android热加载随记
  9. GPS精密星历文件下载地址
  10. 三星 9810 android 9,【极光ROM】-【三星NOTE9 N960X-9810】-【V17.0 Android-Q-TB9】
  11. java计算器项目 wbs分解_WBS功能分解
  12. 微信小程序:自适应来电模拟器
  13. Android 启动优化说明、黑白屏处理
  14. Svelte-Ui-Admin基于svelte-ui中后台管理系统|Svelte3+Vite3后台框架
  15. 计算机视觉注意力网络(一)——简介
  16. QT关于iCCP警告去除
  17. PlumeLog-Java分布式日志组件,支持百亿级别,日志从搜集到查询,不用去文件中翻阅日志方便快捷
  18. 我的校招——南京烽火笔试+格力初面
  19. 全栈嵌入式工程师技能图
  20. setenv与putenv的区别

热门文章

  1. JAVA入门级教学之(猜数字测试)
  2. android string 去掉斜杠,Android – PATH中的改装和斜杠字符
  3. mysql 删除另一个表中的_mysql – 在一个查询SQL中删除两个表中的记录
  4. 如何做电脑桌面应用_CAD批量转PDF?一分钟教会你CAD如何转PDF,两种方法任你选择!...
  5. tsp matlab,五个城市的TSP问题MATLAB程序.doc
  6. protobuf2和3同时安装_安装protobuf可能遇到的问题
  7. mysql占用内存吗_mysql占多少内存
  8. 计算机视觉中的多视图几何_基于深度学习的视觉三维重建研究总结
  9. linux系统初级管理书,Linux系统管理基础--超级适合Linux新手的书
  10. php箱子,webshell箱子php版本.rar