ClouderaManager介绍、CDH特点、ClouderaManager架构、ClouderaManager功能、Cloudera Management Service
ClouderaManager介绍
CDH介绍
CDH是Apache Hadoop和相关项目中最完整、最稳定的、经过测试和最流行的发行版。
CDH提供了Hadoop的核心元素，可扩展存储和分布式计算 ，以及基于Web的用户界面和重要的企业功能。 CDH是Apache许可的开源软件，是唯一提供统一批处理，交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。
CDH特点
灵活性 - 存储任何类型的数据并使用各种不同的计算框架对其进行操作，包括批处理，交互式SQL，自由文本搜索，机器学习和统计计算。
集成 - 在完整的Hadoop平台上快速启动并运行，该平台可与各种硬件和软件解决方案配合使用。
安全 - 处理和控制敏感数据。
可扩展性 - 支持广泛的应用程序。
高可用性 – 可以执行关键型业务任务。
兼容性 - 利用现有的IT基础架构。
ClouderaManager介绍
Cloudera Manager是用于管理CDH群集的端到端应用程序。Cloudera Manager通过对CDH集群的每个部分提供细粒度的可视性和控制来设置企业部署的标准，使运营商能够提高性能，提高服务质量，提高合规性并降低管理成本。
使用Cloudera Manager，可以轻松部署和集中操作完整的CDH堆栈和其他托管服务（Hadoop、Spark、Kudu、Impala）。其特点：应用程序的安装过程自动化，将部署时间从几周缩短到几分钟; 并提供运行主机和服务的集群范围的实时监控视图; 提供单个中央控制台，以在整个群集中实施配置更改; 并集成了全套的报告和诊断工具，可帮助您优化性能和利用率。
ClouderaManager架构
Cloudera Manager的核心是Cloudera Manager Server。提供了统一的UI和API方便用户和集群上的CDH以及其它服务进行交互，并实施监控和诊断等。
CM Server还负责安装配置CDH和其相关的服务软件，启动停止服务，维护集群中各个节点服务器以及上面运行的进程。
Agent：安装在每台主机上。它负责启动和停止进程，解压缩配置，触发安装和监控主机
Management Service：执行各种监控、报警和报告功能的一组角色的服务。
Database：存储配置和监控信息
Cloudera Repository：可供Cloudera Manager分配的软件的存储库
Client：用于与服务器进行交互的接口
Admin Console：管理员控制台
API：开发人员使用 API可以创建自定义的Cloudera Manager应用程序
ClouderaManager功能
信号检测
默认情况下，Agent 每隔 15 秒向 Cloudera Manager Server 发送一次检测信号。但是，为了减少用户延迟，在状态变化时会提高频率。
状态管理
模型状态捕获什么进程应在何处运行以及具有什么配置 。
运行时状态是哪些进程正在何处运行以及正在执行哪些命令（例如：重新平衡 HDFS 或执行备份/灾难恢复计划或集群升级、停止） 。
当您更新配置（例如Hue Server Web 端口）时，您即更新了模型状态。但是，如果 Hue 在更新时正在运行，则它仍将使用旧端口。当出现这种不匹配情况时，角色会标记为具有“过时的配置”。要重新同步，您需重启角色（这会触发重新生成配置和重启进程）。
特殊情况如果要加入一些cloudera manager控制台没有的属性时候，都在高级配置选项里面嵌入。
服务器和客户端配置
例如使用HDFS，/opt/cloudera/parcels/CDH/lib/hadoop/etc/hadoop目录下仅包含与 HDFS 客户端相关的配置。
而 HDFS 角色实例（例如：NameNode 和 DataNode）会从 /var/run/cloudera-scm-agent/process/812-hdfs-NAMENODE、820-hdfs-DATANODE 下的每个进程专用目录获取它们的配置，真正产生作用的是这个。
主机管理
Cloudera Manager 作为群集中的托管主机身份：JDK、Cloudera Manager Agent、CDH、Impala、Solr 等参与所需的所有软件部署到主机 。
Cloudera Manager 提供用于管理参与主机生命周期的操作以及添加和删除主机的操作。
Cloudera Management Service Host Monitor 角色执行运行状况检查并收集主机度量，以使您可以监控主机的运行状况和性能。
进程管理
在 Cloudera Manager 管理的群集中，只能通过 Cloudera Manager 启动或停止服务。Cloudera Manager 使用一种名为 supervisord 的开源进程管理工具，它会重定向日志文件，通知进程失败，为合适用户设置调用进程的有效用户 ID 等等。Cloudera Manager 支持自动重启崩溃进程。如果一个角色实例在启动后反复失败，Cloudera Manager 还会用不良状态标记该实例。
特别需要注意的是，停止 Cloudera Manager 和 Cloudera Manager Agent 不会停止群集；所有正在运行的实例都将保持运行。
Agent 的一项主要职责是启动和停止进程。当 Agent 从检测信号检测到新进程时，Agent 会在 /var/run/cloudera-scm-agent 中为它创建一个目录，并解压缩配置 。
Agent 受到监控，属于 Cloudera Manager 的主机监控的一部分：如果 Agent 停止检测信号，主机将被标记为运行状况不良。
安全
身份验证
Hadoop中身份验证的目的仅仅是证明用户或服务确实是他或她所声称的用户或服务 。
通常，企业中的身份验证通过单个分布式系统（例如：轻型目录访问协议 (LDAP) 目录）进行管理，LDAP 身份验证包含由各种存储系统提供支持的简单用户名/密码服务，ranger+ldap+freeipa。
Hadoop 生态系统的许多组件会汇总到一起来使用 Kerberos 身份验证并提供用于在 LDAP 或 AD 中管理和存储凭据的选项。
授权
CDH 当前提供以下形式的访问控制：
适用于目录和文件的传统 POSIX 样式的权限 。
适用于 HDFS 的扩展的访问控制列表 (ACL) 。
Apache HBase使用ACL来按列、列族和列族限定符授权各种操作 (READ, WRITE, CREATE, ADMIN)。
使用 Apache Sentry 基于角色进行访问控制。
Cloudera Management Service
功能：可作为一组角色实施各种管理功能
Activity Monitor：收集关于MapReduce服务运行的活动的信息。默认情况下不添加此角色。
Host Monitor：收集有关主机的运行状况和指标信息。
Service Monitor：从YARN和Impala服务中收集关于服务和活动信息的健康和度量信息。
Event Server：聚合组件的事件并将其用于警报和搜索。
Alert Publisher ：为特定类型的事件生成和提供警报。
Reports Manager：生成图表报告，按用户，用户组和目录提供磁盘利用率的历史视图，按用户和YARN池处理活动，以及HBase表和命名空间。Cloudera Express中未添加此角色。
ClouderaManager介绍、CDH特点、ClouderaManager架构、ClouderaManager功能、Cloudera Management Service相关推荐
- 1，clouderaManager 介绍 ： 免费版介绍
一 ,架构图 : 1 ,Cloudera Manager 是啥?主要是干啥的? 官 : 简单来说,Cloudera Manager是一个拥有集群自动化安装.中心化管理.集群监控.报警功能的一个工具(软 ...
- 采用Cloudera-Manager安装CDH时，采用内嵌数据库各数据库用户密码的保存位置
一.场景描述 在采用Cloudera-Manager安装cdh时,通常使用内嵌的PostgreSQL数据库. Cloudera-Manager除了保存CDH集群的配置元数据的scm数据库外,还为Act ...
- Nacos 1.0.0 GA，架构、功能与 API 设计全面重构
Nacos 1.0.0 GA 版本发布了,此版本在架构.功能和 API 设计上进行了全方位的重构和升级. 此版本新特性包括: 注册实例支持 ephemeral 字段 Nacos 1.0.0 版本在 i ...
- 软件架构--MVC介绍（垂直应用架构）
软件架构--MVC介绍(垂直应用架构) 1 介绍 2 示例 3 优势 4 缺点 参考 1 介绍 MVC(视图/模型结构)把数据和视图组件分离,这使得我们可以在几个不同的试图组件中显示相同的数据,并且实 ...
- 【Ceph】Ceph介绍、原理、架构
目录 理解Ceph的三种存储接口:块设备.文件系统.对象存储 干货|非常详细的 Ceph 介绍.原理.架构 1. Ceph架构简介及使用场景介绍 1.1 Ceph简介 1.2 Ceph特点 1.3 C ...
- IOT---(3)深入解析物联网操作系统（架构、功能与实例分析）
物联网(IoT)是目前最新最热的技术热点之一,也是这个信息化时代的重要发展节点.相对于互联网而言,物联网的本质在于"万物相连".物联网的核心和基础仍然是互联网,是在互联网基础上延伸 ...
- 虚拟化的适用范围和适用场景，服务器虚拟化架构和功能
随着企业的增长,部署在专用硬件的各种应用也随之增多,这将给IT基础架构带来很多挑战,例如资源使用效率低,业务部署费用高和周期长.因此IT部门会逐渐转向采用云计算来增加数据共享.提升资源利用率和减少运营 ...
- 电子电器架构开发-功能分配开发内容
电子电气架构的功能分配-简述 在电子电器架构的开发过程中,架构工程师根据整车开发需求,整理出整车电子电器的功能清单,并将各个子功能分配给整车的各个模块,指导各模块工程师进行模块开发.而关于功能分配的详 ...
- rfid sim卡 android,RFID-SIM卡门禁系统方案介绍：原理，参数，功能..
原标题:RFID-SIM卡门禁系统方案介绍:原理,参数,功能.. RFID-SIM卡门禁系统方案原理 用户将持有RFID-SIM卡的手机接近多奥RFID-SIM卡门禁系统读头,同时将RFID-SIM卡 ...
- 五、AUTOSAR架构诊断功能
AUTOSAR架构诊断功能类似于VxWorks653的HM和OMS功能. AUTOSAR的诊断功能包括两部分: ①在线诊断模式(Onboard Diagnostic System), 易于被用户感知的 ...
最新文章
- 【JOURNAL】恭喜发财
- Linux_Centos中搭建nexus私服
- 听说你想去大厂看学妹，带你看看京东软件产品经理面经
- ABBYY FineReader 12可以内置自动化任务吗
- 程序员如何一键“Get”高清壁纸？
- 在WPF控件上添加Windows窗口式调整大小行为
- pdca管理循环基本主张_PDCA循环在生产管理中的应用
- 计算机课件 flash,计算机实用技术教学课件 刘毅 第8章 Flash动画制作.ppt
- 中国电信物联网开发平台北向开发获取设备ID及其历史产生的数据
- linuxpv操作实验_操作系统实验三：Linux进程管理及其扩展
- Facebook不上市纯属炒作
- 5分绩点转4分_5分绩点转4分
- 校园网使用家用无线路由器
- 梯度累加是什么意思-详解
- CF大陆斗C战士（二）
- CS01/CS02/CS03 BOM修改 CSAP_MAT_BOM_MAINTAIN
- 项目里程碑达成的标准
- 【android】高仿京东商城App，集成react-native热更功能
- DSP_基于TMS320F28377D双核芯片和CCS7.40的编程入门
- Arduino 飞鼠 空中鼠标 陀螺仪体感鼠标