理解HBase zookeeper和-Root-/.MET表
2024-06-09 17:19:15
1 探究Zookeeper
安装过HBase的开发者一定知道，HBase本身就嵌入了Zookeeper，你可以选择安装嵌入的Zookeeper，也可以安装一个分布式的Zookeeper集群。具体的安装步骤，可以到我的博客里查找。
我们可以手工与Zookeeper交互的方式就是使用HBaseshell命令。使用zk_dump来查看HBase的安装等信息。
[plain] view plaincopy
- <span style="font-size:18px;"> hbase(main):002:0>zk_dump
- HBaseis rooted at /hbase
- Active master address:hadoop-master,60000,1390921674646
- Backup master addresses:
- Region server holding ROOT:machine-0,60020,1390921686697
- Region servers:
- machine-1,60020,1390921690387
- machine-2,60020,1390921767658
- machine-0,60020,1390921686697
- Quorum Server Statistics:
- machine-1:2222
- Zookeeper version: 3.4.5-1392090, built on 09/30/2012 17:52 GMT
- Clients:
- /192.168.177.158:55294[1](queued=0,recved=121,sent=135)
- /192.168.177.172:54763[0](queued=0,recved=1,sent=0)
- /192.168.177.168:59896[1](queued=0,recved=48,sent=48)
- /192.168.177.158:55299[1](queued=0,recved=47,sent=47)
- Latency min/avg/max: 0/2/42
- Received: 217
- Sent: 230
- Connections: 4
- Outstanding:0
- Zxid: 0x3300000047
- Mode: follower
- Node count: 29
- machine-0:2222
- Zookeeper version: 3.4.5-1392090, built on 09/30/2012 17:52 GMT
- Clients:
- /192.168.177.172:38860[1](queued=0,recved=75,sent=77)
- /192.168.177.172:38855[1](queued=0,recved=322,sent=369)
- /192.168.177.167:52643[1](queued=0,recved=78,sent=90)
- /192.168.177.172:38900[0](queued=0,recved=1,sent=0)
- Latency min/avg/max: 0/2/291
- Received: 476
- Sent: 536
- Connections: 4
- Outstanding: 0
- Zxid: 0x3300000047
- Mode: follower
- Node count: 29
- machine-2:2222
- Zookeeper version: 3.4.5-1392090, built on 09/30/2012 17:52 GMT
- Clients:
- /192.168.177.172:45693[0](queued=0,recved=1,sent=0)
- /192.168.177.172:45687[1](queued=0,recved=13,sent=13)
- /192.168.177.167:36053[1](queued=0,recved=43,sent=43)
- Latency min/avg/max: 0/0/21
- Received: 57
- Sent: 56
- Connections: 3
- Outstanding: 0
- Zxid: 0x3300000047
- Mode: leader
- Node count: 29</span>
根据显示的信息，我们可以查阅到HDFS中的HBase根路径，激活的主机地址域名和端口，root表的主机地址和端口。
[plain] view plaincopy
- <span style="font-size:18px;">HBase is rooted at /hbase
- Active master address:hadoop-master,60000,1390921674646
- Backup master addresses:
- Region server holding ROOT:machine-0,60020,1390921686697</span>
区域服务器地址信息
[plain] view plaincopy
- <span style="font-size:18px;">Region servers:
- machine-1,60020,1390921690387
- machine-2,60020,1390921767658
- machine-0,60020,1390921686697</span>
Zookeeper法定服务器的统计信息，当前的法定服务名称以及Zookeeper版本信息，客户端信息等
[plain] view plaincopy
- <span style="font-size:18px;">Quorum Server Statistics:
- machine-1:2222
- Zookeeper version: 3.4.5-1392090, built on 09/30/2012 17:52 GMT
- Clients:
- /192.168.177.158:55294[1](queued=0,recved=121,sent=135)
- /192.168.177.172:54763[0](queued=0,recved=1,sent=0)
- /192.168.177.168:59896[1](queued=0,recved=48,sent=48)
- /192.168.177.158:55299[1](queued=0,recved=47,sent=47)
- Latency min/avg/max: 0/2/291
- Received: 476
- Sent: 536
- Connections: 4
- Outstanding: 0
- Zxid: 0x3300000047
- Mode: follower
- Node count: 29
- machine-2:2222
- Zookeeper version: 3.4.5-1392090, built on 09/30/2012 17:52 GMT
- Clients:
- /192.168.177.172:45693[0](queued=0,recved=1,sent=0)
- /192.168.177.172:45687[1](queued=0,recved=13,sent=13)
- /192.168.177.167:36053[1](queued=0,recved=43,sent=43)
- Latency min/avg/max: 0/0/21
- Received: 57
- Sent: 56
- Connections: 3
- Outstanding: 0
- Zxid: 0x3300000047
- Mode: leader
- Node count: 29</span>
当我们尝试去理解系统当前的状态时，这些信息显得尤为重要。那些主机加入到集群中了，那个主机扮演什么角色。更重要的是，个主机充当HBase的-root-表服务。HBase客户端需要这些信息来实现读写操作，而Zookeeper正好可以提供这些信息。
客户端能够制动化地与Zookeeper进行操作交流以及找到区域服务器
（RegisionServer）。为了更好的理解这些信息，我们将探究一下HBase中两个特殊的表-root-和.meta.。
2 探究-ROOT-表
3 探究.META.表
hbase(main):030:0> scan '.META.'
[plain] view plaincopy
- <span style="font-size:18px;">hbase(main):012:0>scan '.META.'
- ROW COLUMN+CELL
- car,,1389254794373.41b48a453column=info:regioninfo, timestamp=1389254795518, value={NAME =>'car,,1389254794373.
- 79036ed6a28620f95bc3e73. 41b48a45379036ed6a28620f95bc3e73.',STARTKEY => '', ENDKEY => '', ENCODED => 41b48a4
- 5379036ed6a28620f95bc3e73,}
- car,,1389254794373.41b48a453column=info:server, timestamp=1390982716032, value=machine-1:60020
- 79036ed6a28620f95bc3e73.
- car,,1389254794373.41b48a453column=info:serverstartcode, timestamp=1390982716032, value=1390982688688
- 79036ed6a28620f95bc3e73.
- pentaho_mappings,,1389456264column=info:regioninfo, timestamp=1389456267362, value={NAME =>'pentaho_mappings,,1
- 784.1fa2cc86c50ced5fa39630da389456264784.1fa2cc86c50ced5fa39630dae76fb1a2.', STARTKEY => '', ENDKEY=> '', ENCOD
- e76fb1a2. ED =>1fa2cc86c50ced5fa39630dae76fb1a2,}
- pentaho_mappings,,1389456264column=info:server, timestamp=1390982716247, value=machine-0:60020
- 784.1fa2cc86c50ced5fa39630da
- e76fb1a2.
- pentaho_mappings,,1389456264column=info:serverstartcode, timestamp=1390982716247, value=1390982687824
- 784.1fa2cc86c50ced5fa39630da
- e76fb1a2.
- users,,1389925800801.6a5a2b0column=info:regioninfo, timestamp=1389925809127, value={NAME =>'users,,138992580080
- 170dfd0e19df13849706ec035. 1.6a5a2b0170dfd0e19df13849706ec035.',STARTKEY => '', ENDKEY => '', ENCODED => 6a5a2
- b0170dfd0e19df13849706ec035,}
- users,,1389925800801.6a5a2b0column=info:server, timestamp=1390982718429, value=machine-1:60020
- 170dfd0e19df13849706ec035.
- users,,1389925800801.6a5a2b0column=info:serverstartcode, timestamp=1390982718429, value=1390982688688
- 170dfd0e19df13849706ec035.
- weblogs,,1389255303284.d2973column=info:regioninfo, timestamp=1389255304879, value={NAME =>'weblogs,,1389255303
- dcc1b1ff64cc56a197fdd83ec5e.284.d2973dcc1b1ff64cc56a197fdd83ec5e.', STARTKEY => '', ENDKEY => '',ENCODED => d29
- 73dcc1b1ff64cc56a197fdd83ec5e,}
- weblogs,,1389255303284.d2973column=info:server, timestamp=1390982716256, value=machine-0:60020
- dcc1b1ff64cc56a197fdd83ec5e.
- weblogs,,1389255303284.d2973column=info:serverstartcode, timestamp=1390982716256, value=1390982687824
- dcc1b1ff64cc56a197fdd83ec5e.
- 4 row(s) in0.3280 seconds</span>
正如你看到的，.META.包含的是表的信息，这里就不详述了。看下列这个结构图便可以理解HBase中这两个表的关系。
理解HBase zookeeper和-Root-/.MET表相关推荐
- 分布式列数据库--理解hbase列存储机制、架构、表结构设计、命令操作
1. HBase简介 HBase是Hadoop Database的简称,是建立在Hadoop文件系统之上的分布式面向列的数据库. HBase和HDFS HDFS适用于存储大容量文件的分布式文件系统,不 ...
- hadoop+HBase+ZooKeeper+Hive完全分布式集群部署安装
本文源自:https://www.cnblogs.com/linxizhifeng/p/7207655.html 1. 系统环境 1.1. 软件版本 下表为本系统环境所安装的软件的版 ...
- hbase中为何不能向表中插入数据_大数据HBase理论实操面试题
1.HBase的特点是什么? 1)大:一个表可以有数十亿行,上百万列: 2)无模式:每行都有一个可排序的主键和任意多的列,列可以根据需要动态的增加,同一张表中不同的行可以有截然不同的列: 3)面向列: ...
- hadoop +hbase +zookeeper 完全分布搭建 (版本一)
hadoop2.0已经发布了稳定版本了,增加了很多特性,比如HDFS HA.YARN等.最新的hadoop-2.6.0又增加了YARN HA 注意:apache提供的hadoop-2.6.0的安装包是 ...
- 如何优雅的理解HBase和BigTable
云栖号资讯:[点击查看更多行业资讯] 在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 学习 HBase 最难的地方在于要让你的脑子真正理解它是什么. HBase:Google BigT ...
- 【Hive】如何在 Hive 中创建外部表映射 Hbase 中已存在的表
文章目录 一.上传完整的jar文件到hive/lib中 二.修改hive-site.xml 三.修改hive-env.sh 四.在hive和hbase中分别创建相关联的表并通过hive向hbase表中 ...
- 学习搭建Hadoop+HBase+ZooKeeper分布式集群环境
一.环境配置 由于集群至少需要三台服务器,我就拿上次做的MongoDB Master, Slave, Arbiter环境来做Hadoop集群.服务器还是ibmcloud 免费提供的.其中Arbiter ...
- 理解并演示：Root Guard（根保护）
理解并演示:Root Guard(根保护) 本文截自于博主CCNP交换技术稿件内容 Root Guard是一种强制的根保护措施,它的作用是防止意外(或者非法)加入的交换机成为网络中的根桥,如图所示,原 ...
- Hbase的基于快照的表修复
Hdfs的快照原理 1.1 快照原理 Hdfs的快照(snapshot)是在某一时间点对指定文件系统拷贝,快照采用只读模式,可以对重要数据进行恢复.防止用户错误性的操作. 快照分两种:一种是建立文件系 ...
最新文章
- 【Python】轻量级分布式任务调度系统-RQ
- 磁悬浮地球仪控制初步测试
- CA验证数字证书的有效性
- Oracle数据库迁移问题（备份、还原、数据导入导出、PLSQL）IMP - 0009 错误
- mongo mapreduce java_那位帮忙提供一个java mongodb多个collection进行mapreduce的操作。
- 四张照片合成一张怎么弄_我在朋友圈发了这张照片后，所有人都求问教程
- jtextpane设置不能选中_电脑为什么打不开指定的网站？什么是DNS解析我要如何设置DNS...
- 封装Js事件代理方法
- 2048源码 linux,分享|2 的威力，Linux 的威力：终端中的 2048
- mac10.12 安装“任何来源”软件解决
- 链家程序员怒删 9TB 数据，被判 7 年！
- python全栈脱产第20天------常用模块---re模块和subprocess模块
- linux操作系统日志查看,linux 如何查看系统日志
- python自动化测试工程师面试题（转载师傅：上海悠悠）
- 读书笔记-捌-《创业维艰》
- 【Cache篇】Linux中的Cache
- Java基础篇--集合（map）
- Linux CentOS 系统实战笔记-基础篇
- android 项目编译略过jni目录,在 flutter 上使用 c 代码 - (二) 无源码的项目
- python实战: 短链接生成器