Cloudera平台参考部署架构
Cloudera平台软件体系结构
Cloudera的软件体系结构中包含了以下模块:系统部署和管理,数据存储,资源管理,处理引擎,安全,数据管理,工具库以及访问接口。一些关键组件的角色信息:
硬件配置
集群服务器按照节点承担的任务分为管理节点和工作节点。管理节点上一般部署各组件的管理角色,工作节点一般部署有各角色的存储、容器或计算角色。根据业务类型不同,集群具体配置也有所区别:
1. 实时流处理服务集群:Hadoop实时流处理性能对节点内存和CPU有较高要求,基于Spark Streaming的流处理消息吞吐量可随着节点数量增加而线性增长。
2. 在线分析业务集群:在线分析业务一般基于Impala等MPP SQL引擎,复杂的SQL计算对内存容量有较高要求,因此需要配置128G甚至更多的内存。
3. 云存储业务集群:云存储业务主要面向海量数据和文件的存储和计算,强调单节点存储容量和成本,因此配置相对廉价的SATA硬盘,满足成本和容量需求
角色分配
小规模集群
搭建小规模集群一般是为了支撑专有业务,受限于集群的存储和处理能力,不太适合用于多业务的环境。这可以部署成一个HBase的集群;也可以是一个分析集群,包含YARN,Impala。在小规模集群中,为了最大化利用集群的存储和处理能力,节点的复用程度往往也比较高。下图是一个典型的小规模集群部署方式:
对于那些需要两个以上节点来支持HA功能的,集群中分配有一个工具节点可以承载这些角色,并同时可以部署一些其他工具角色,这些工具角色本身消耗不了多少资源:
其余节点可以部署为纯工作节点,包含:
中等规模集群
一个中等规模的集群,集群的节点数一般在20到200左右,通常的数据存储可以规划到几百TB,适用于一个中型企业的数据平台,或者大型企业的业务部门数据平台。节点的复用程度可以降低,可以按照管理节点、主节点、工具节点和工作节点来划分。
管理节点上就安装Cloudera Manager、Cloudera Management Service。
主节点上安装有个CDH服务的管理节点以及HA的组件,可以如下方式部署:
工具节点可以部署以下一些角色:
工作节点的部署和小规模类似:
大规模集群
大规模集群的数量一般会在200以上,存储容量可以是大几百的TB甚至是PB级别,适用于大型企业搭建全公司的数据平台。和中等规模的集群相比,部署的方案相差不大,主要是一些主节点可用性的增强。
HDFS JournalNode由3个增加到5个,Zookeeper Server和HBase Master也由3个增加到5个,Hive Metastore的数量有1个增加到3个。
网络拓扑
单机架部署
对于一个小规模的集群,或者一个单个rack的集群,所有的节点都连接到相同的接入层交换机。接入层交换机配置为堆叠的方式,互为冗余并增加了交换机吞吐。所有的节点两个网卡配置为主备或者负载均衡模式,分别连入两个交换机。在这种部署模式下,接入层交换机也充当了聚合层的角色。
多机架部署
在多机架的部署模式下,除了接入层交换机,还需要聚合层交换机,用于连接各接入层交换机,负责跨rack的数据存取。
实际部署样例
在机架上分配角色时,为了避免接入层交换机的故障导致集群的不可用,需要将一些高可用的角色部署到不同的接入层交换机之下(注是不同的接入层之下,而不是不同的物理rack下,很多时候,客户会将不同物理rack下的机器接入到相同的接入层交换机下。)以下是一个80个节点的物理部署样例。
Cloudera平台参考部署架构相关推荐
- 如何选择O2OA(翱途)开发平台的部署架构?
O2OA(翱途)开发平台[下称O2OA开发平台或者O2OA]支持公有云,私有云和混合云部署,也支持复杂的网络结构下的分布式部署.本篇主要介绍O2OA(翱途)开发平台支持的部署环境以及常用的集群部署架构 ...
- 容器云平台规划部署架构设计
[导读]对于容器平台的建设,从初期就需要做好平台的整体规划,切莫为了容器化而容器化,要因地制宜,寻找平衡点逐渐落地,混合实施,了解开发运维等多方面的需求.平台相关技术的原理机制,团结开发.运维.用户等 ...
- cdh 安装_使用Cloudera的CDH部署Hadoop:第三步,安装管理平台和数据库
导读 这篇文章是关于使用CDH搭建Hadoop集群的第三步:安装Cloudera Manager Server和数据库的. 这篇文章有点长,涉及的知识点较多,略显零碎.虽然笔者可以将一些内容剔除,但笔 ...
- 云计算安全平台参考架构
云计算安全平台参考架构
- 图文 | 海岸TDM平台部署架构
极简部署架构 系统平台占用较少的硬件资源,一般企业级应用采用"一台应用服务器 + 一台数据库服务器"即可满足需求. 高可用部署架构 系统平台支持高可用性架构部署方式,支持" ...
- arm架构服务器安装系统教程,docker服务在arm平台上部署安装方法
docker服务在arm平台上部署安装方法 本教程使用的硬件平台是全志A40I,操作系统采用的是ubuntu18.04,内核是3.10.108(内核很老导致docker兼容性不好) 1.获取最新版本的 ...
- 电商平台中的架构实践
从各个角度总结了电商平台中的架构实践,由于时间仓促,定了个初稿,待补充完善,欢迎大家一起交流. 原文出处:http://blog.csdn.net/yangbutao/article/details/ ...
- (转)微服务架构 互联网保险O2O平台微服务架构设计
http://www.cnblogs.com/Leo_wl/p/5049722.html 微服务架构 互联网保险O2O平台微服务架构设计 关于架构,笔者认为并不是越复杂越好,而是相反,简单就是硬道理也 ...
- 在x86和arm混合部署架构下排查TiKV节点内存占用极高的问题
作者:何傲 原文来源: https://tidb.net/blog/91cb51aa [是否原创]是 [首发渠道]TiDB 社区 前言 前不久我们在混合部署架构下测试了TiDB 5.0的性能,测试过程 ...
最新文章
- 空域滤波算法对比分析(超级全面哒)——Python代码
- 【Java】使用单向链表实现一个队列(Queue)
- 本田、大众宣布智能路口研究新进展 以安全为重点
- Spring Boot Transaction 源码解析(一)
- jdk1.8以前不建议使用其自带的Base64来加解密
- Java编程之反射中的注解详解
- 软件设计师 - 计算机组成体系结构 -
- Outlook怎么打印日历 Outlook日历打印教程
- matlab 双谱分析,AR双谱估计的Matlab实现.doc
- spring boot组件_Spring Boot Framework的关键组件和内部
- 基于微信小程序的竞赛管理系统
- mac 谷歌浏览器 跨域访问
- 原函数与反函数的关系
- C 语言实现简易区块链
- Swift获取当前连接WIFI名称,IOS获取当前连接WIFI名称
- I/O大会上落寞离去,谷歌眼镜真的被放弃了吗?
- 人工智能(AI)是如何处理数据的?
- Android小代码
- 现在的你对未来什么规划?
- Jetson Nano 入坑之路 ---- (4)配置拼音输入法
热门文章
- python 中arange函数_Python numpy.arange函数方法的使用
- [LOJ2325][清华集训 2017]小Y和恐怖的奴隶主 矩阵乘法+奇技淫巧
- Python面向对象练习-士兵开枪问题
- 如何隐藏或删除Windows 10任务栏图标
- 用js仿探探拖拽卡片的效果、飞卡片的效果,感觉挺酷,最后有美女看哦!程序员就是可以为所欲为!
- 测试用例八大要素以及设计方法
- PigAI_GPT2批改网写作助手
- 飞秋发送消息的快捷键改为 ctrl+enter
- JavaScript中的onchange、oninput以及onpropertychange
- Layer3 是什么?一文揭晓 Layer1 到 Layer3 进化史