Hadoop 生态圈 ————Hbase数据库

2024-04-20 21:13:01

HBase是一个分布式的，面向列的开源数据库，该技术来源于Fay Chang所撰写的Google论文”Bigtable：一个结构化数据的分布式存储系统“。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列而不是基于行模式。在需要实时读写、随机访问超大规模数据集时，可以使用HBase。

上图描述Hadoop Ecosystem中的各层结构。其中，HBase位于结构化存储层，Hadoop HDFS为HBase提供了高可靠性的底层存储支持。Hadoop MapReduce为HBase提供了高性能的计算能力，ZooKeeper为HBase提供了稳定服务和故障切换(failover)机制。此外，Pig和Hive还为HBase提供了高层语言支持，使得在HBase上进行数据统计处理变的非常简单。Sqoop则为HBase提供了方便的RDBMS数据导入功能，使得传统数据库数据向HBase中迁移变的非常方便。

HBase架构图

HBase Master负责管理所有的HRegion，HBase Master并不存储HBase服务器的任何数据，HBase逻辑上的表可能会划分为多个HRegion，然后存储在HRegion Server群中，HBase Master Server中存储的是从数据到HRegion Server的映射。

一台机器只能运行一个HRegion服务器，数据的操作会记录在Hlog中，在读取数据时候，HRegion会先访问缓存，如果缓存中没有数据才回到Hstore中上找，每一个列都会有一个Hstore集合，每个Hstore集合包含了很多具体的HstoreFile文件，这些文件是B树结构的，方便快速读取。

郑州新思齐科技有限公司

王亚辉

Hadoop 生态圈 ————Hbase数据库相关推荐

Hadoop生态圈-Hbase的rowKey设计原则
Hadoop生态圈-Hbase的rowKey设计原则作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 转载于:https://www.cnblogs.com/yinzhengjie/ ...
Hadoop生态圈-Hbase的API常见操作
Hadoop生态圈-Hbase的API常见操作作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任.
Hadoop生态圈以及各组成部分的简介
1.Hadoop是什么? 适合大数据的分布式存储与计算平台 HDFS: Hadoop Distributed File System分布式文件系统 MapReduce:并行计算框架 2.Hadoop生 ...
Hadoop生态圈一览
根据Hadoop官网的相关介绍和实际使用中的软件集,将Hadoop生态圈的主要软件工具简单介绍下,拓展对整个Hadoop生态圈的了解. 这是Hadoop生态从Google的三篇论文开始的发展历程,现已 ...
Hadoop专业解决方案-第1章大数据和Hadoop生态圈
一.前言: 非常感谢Hadoop专业解决方案群:313702010,兄弟们的大力支持,在此说一声辛苦了,经过两周的努力,已经有啦初步的成果,目前第1章大数据和Hadoop生态圈小组已经翻译完成,在此 ...
Hadoop生态圈：19个让大象飞起来的工具！
https://zhuanlan.zhihu.com/p/22366610 Hadoop生态圈:19个让大象飞起来的工具! 大圣圈更多知识分享请关注公众号:大圣圈(spesedu) 12 人赞了该文 ...
盘点Hadoop生态圈：13个让大象飞起来的开源工具
借助Google的三大论文,Hadoop打开了低成本海量数据处理之门:同时,借助了开源运动,Hadoop生态圈得以迅速成熟,也催生了处理各种业务及数据的工具,这里带大家回顾2013年让大象飞起来的13 ...
小白也能懂的hadoop生态圈，很黄很暴力！
转自Xiaoyu Ma 链接:请戳这里! 来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注明出处. 大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了 ...
大数据运维实战第一课大话 Hadoop 生态圈
你好,欢迎来到<大数据运维实战>专栏. 入行以来,我从事大数据运维也有十多年了,期间我做过系统运维.DBA,也做过大数据分析师,最后选择了大数据运维方向,曾设计并管理超过千台.PB 级的数 ...

最新文章

热门文章