一条数据的HBase之旅,简明HBase入门教程4:集群角色
【摘要】 本文主要介绍HBase与HDFS的关系,一些关键进程角色,以及在部署上的建议
HBase与HDFS
我们都知道HBase的数据是存储于HDFS里面的,相信大家也都有这么的认知:
HBase是一个分布式数据库,HDFS是一个分布式文件系统
理解了这一点,我们先来粗略回答本文已开始提出的其中两个问题:
HBase中的数据为何不直接存放于HDFS之上?
HBase中存储的海量数据记录,通常在几百Bytes到KB级别,如果将这些数据直接存储于HDFS之上,会导致大量的小文件产生,为HDFS的元数据管理节点(NameNode)带来沉重的压力。
文件能否直接存储于HBase里面?
如果是几MB的文件,其实也可以直接存储于HBase里面,我们暂且将这类文件称之为小文件,HBase提供了一个名为MOB的特性来应对这类小文件的存储。但如果是更大的文件,强烈不建议用HBase来存储,关于这里更多的原因,希望你在详细读完本文所有内容之后能够自己解答。
集群角色
关于集群环境,你可以使用国内外大数据厂商的平台,如Cloudera,Hontonworks以及国内的华为,都发行了自己的企业版大数据平台,另外,华为云、阿里云中也均推出了全托管式的HBase服务。
我们假设集群环境已经Ready了,先来看一下集群中的关键角色:
相信大部分人对这些角色都已经有了一定程度的了解,我们快速的介绍一下各个角色在集群中的主要职责(注意:这里不是列出所有的职责):
ZooKeeper
在一个拥有多个节点的分布式系统中,假设,只能有一个节点是主节点,如何快速的选举出一个主节点而且让所有的节点都认可这个主节点?这就是HBase集群中存在的一个最基础命题。
利用ZooKeeper就可以非常简单的实现这类"仲裁"需求,ZooKeeper还提供了基础的事件通知机制,所有的数据都以 ZNode的形式存在,它也称得上是一个"微型数据库"。
NameNode
HDFS作为一个分布式文件系统,自然需要文件目录树的元数据信息,另外,在HDFS中每一个文件都是按照Block存储的,文件与Block的关联也通过元数据信息来描述。NameNode提供了这些元数据信息的存储。
DataNode
HDFS的数据存放节点。
RegionServer
HBase的数据服务节点。
Master
HBase的管理节点,通常在一个集群中设置一个主Master,一个备Master,主备角色的"仲裁"由ZooKeeper实现。 Master主要职责:
负责管理所有的RegionServer
建表/修改表/删除表等DDL操作请求的服务端执行主体
管理所有的数据分片(Region)到RegionServer的分配
如果一个RegionServer宕机或进程故障,由Master负责将它原来所负责的Regions转移到其它的RegionServer上继续提供服务
Master自身也可以作为一个RegionServer提供服务,该能力是可配置的
集群部署建议
如果基于物理机/虚拟机部署,通常建议:
RegionServer与DataNode联合部署,RegionServer与DataNode按1:1比例设置。
这种部署的优势在于,RegionServer中的数据文件可以存储一个副本于本机的DataNode节点中,从而在读取时可以利用HDFS中的短路径读取(Short Circuit)来绕过网络请求,降低读取时延。
管理节点独立于数据节点部署
如果是基于物理机部署,每一台物理机节点上可以设置几个RegionServers/DataNodes来提升资源使用率。
也可以选择基于容器来部署,如在HBaseCon Asia 2017大会知乎的演讲主题中,就提到了知乎基于Kubernetes部署HBase服务的实践。
对于公有云HBase服务而言,为了降低总体拥有成本(TCO),通常选择"计算与存储物理分离"的方式,从架构上来说,可能导致平均时延略有下降,但可以借助于共享存储底层的IO优化来做一些"弥补"。
HBase集群中的RegionServers可以按逻辑划分为多个Groups,一个表可以与一个指定的Group绑定,可以将RegionServer Group理解成将一个大的集群划分成了多个逻辑子集群,借此可以实现多租户间的隔离,这就是HBase中的RegionServer Group特性。
作者:Jaison
一条数据的HBase之旅,简明HBase入门教程4:集群角色相关推荐
- 深入浅出学大数据(五)Hadoop再探讨High Availability(HA)集群搭建及YARN原理介绍
大家好,我是不温卜火,昵称来源于成语-不温不火,本意是希望自己性情温和.作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样 ...
- 云小课|打造企业数据“高内聚,低耦合”--试试GaussDB(DWS)逻辑集群,实现数据物理隔离
阅识风云是华为云信息大咖,擅长将复杂信息多元化呈现,其出品的一张图(云图说).深入浅出的博文(云小课)或短视频(云视厅)总有一款能让您快速上手华为云.更多精彩内容请单击此处. 摘要:逻辑集群是基于No ...
- 【大数据】Hadoop—— 三大核心组件理论入门 | 完全分布式集群搭建 | 入门项目实战
文章目录 前言 大数据概述 时代背景 4V特点 大数据思维 核心技术 储存 计算 相关技术 云计算 物联网 Hadoop简介 简介 版本之分 项目生态结构 安装和部署 HDFS 简介 集群结构 实现目 ...
- Hbase的WebUI中的RegionServers不显示集群机器域名
下面这张图有时候会发现ServerName下面没有集群其他电脑的域名 检查这么几个东西: ①确保Hadoop离开安全模式hadoop dfsadmin -safemode leave ②检查hbase ...
- 大数据开发技术课程报告(搭建Hadoop完全分布式集群操作集群)
文章目录 大数据开发技术课程报告内容及要求 一. 项目简介和实验环境 二. 虚拟机的各项准备工作 三. 安装JDK并配置环境变量 四. 安装Hadoop并配置环境变量 五. 配置Hadoop完全分布式 ...
- 大数据之Hadoop3.x 运行环境搭建(手把手搭建集群)
文章目录 写在开头 安装包准备 一.Hadoop运行环境搭建(开发重点) 1.1 模板虚拟机环境准备 1.2 克隆虚拟机 1.3 在hadoop102安装JDK 1.4 在hadoop102安装Had ...
- python代码少儿编程转换_数据类型转换_清华尹成python入门教程_少儿编程视频-51CTO学院...
此课程与<清华编程高手.尹成.带你实战python入门>大体相同,只需购买其中的一门课程. 本课程由清华大学尹成老师录制,课程的特色在于讲解原理的同时引入了每个程序员都热衷的黑客技术.py ...
- 基于大数据平台的毕业设计01:基于Docker的HDP集群搭建
前言 好多人问我,这种基于大数据平台的xxxx的毕业设计要怎么做.这个可以参考之前写得关于我大数据毕业设计的文章基于大数据平台的毕业设计.这篇文章是将对之前的毕设进行优化. 个人觉得可以分为两个部分. ...
- 简明 MongoDB 入门教程
MongoDB 是免费开源的跨平台 NoSQL 数据库,命名源于英文单词 humongous,意思是「巨大无比」,可见开发组对 MongoDB 的定位.与关系型数据库不同,MongoDB 的数据以类似 ...
最新文章
- python计算出nan_python如何进行汇总统计?
- php curl post 文件_php curl文件上传$_FILES为空,只有$_POST有值,如何兼容php5.0~5.6各版本...
- Npm如何升级package.json
- oracle回退脚本怎么写_直播间脚本要怎么写?李佳琦、薇娅直播间直播脚本解析!...
- NDK/JNI01--NDK下载配置
- 将解决方案和项目放在同一目录中_借助卡第那思3D电子目录,巴鲁夫使用CAE数据扩展其产品目录...
- pgsql thinkphp5_thinkphp 连接postgresql
- git安装和GitHub使用
- 特征图注意力_ICLR2017 | AT_注意力引导的知识蒸馏
- 语音识别技术准确率早已超过人类平均水平
- ubuntu 上的python不能解析jpeg,png?
- 【诚邀】ZStack新品战略发布会4月16号如约开启
- oracle关联两个字段,oracle字符串连接函数,||使两个或多个字段拼成一个字段
- UEFI开发探索22 – 环境搭建3(使用UDK2018搭建)
- SVN—创建分支、合并分支到主干
- XSS靶场(haozi.me)
- 如何查看已删除的微信聊天记录?教你两招,找到答案
- 32位浮点数转十进制
- android studio黄油刀依赖,【Android】AndroidStudio 依赖 ButterKnife 出现的空指针异常
- android项目屏幕适配的解决方法
热门文章
- ajax请求携带tooken_9 HTMLJS等前端知识系列之Ajax post请求带有token向Django请求
- LuoguP1131 [ZJOI2007]时态同步
- 牛刀小试MySQL--基于GTID的replication
- 创龙DSP6748开发板驱动LCD屏
- 常见c#正则表达式类学习整理
- Codeforces Round #422(Div 2)
- QT 格式化字符串功能
- 盛夏光年——14年暑期总结
- 中国约量子计算机啥水平,中国科学家捕获马约拉纳费米子 或敲开量子计算机世界大门...
- php json 默认值,php操作JSON格式数据的实现代码