HBase数据结构与基本语法详解.背景：

　　阅读新闻

　　[日期：2019-01-06]

　　来源：Linux社区

　　作者：Linux

　　[字体：大 中 小]

　　HBase中的表一般有这样的特点：

　　1 大：一个表可以有上亿行，上百万列

　　2 面向列:面向列(族)的存储和权限控制，列(族)独立检索。

　　3 稀疏:对于为空(null)的列，并不占用存储空间，因此，表可以设计的非常稀疏。

　　下面一幅图是Hbase在Hadoop Ecosystem中的位置。

　　

　　逻辑视图

　　HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族(row family)

　　

　　Row Key

　　与nosql数据库们一样,row key是用来检索记录的主键。访问hbase table中的行，只有三种方式：

　　1通过单个row key访问

　　2 通过row key的range

　　3 全表扫描

　　Row key行键 (Row key)可以是任意字符串(最大长度是 64KB，实际应用中长度一般为 10-100bytes)，在hbase内部，row key保存为字节数组。

　　存储时，数据按照Row key的字典序(byte order)排序存储。设计key时，要充分排序存储这个特性，将经常一起读取的行存储放到一起。(位置相关性)

　　注意：

　　字典序对int排序的结果是:

　　1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,…,9,91,92,93,94,95,96,97,98,99。要保持整形的自然序，行键必须用0作左填充。

　　行的一次读写是原子操作 (不论一次读写多少列)。这个设计决策能够使用户很容易的理解程序在对同一个行进行并发更新操作时的行为。

　　列族

　　hbase表中的每个列，都归属与某个列族。列族是表的chema的一部分(而列不是)，必须在使用表之前定义。列名都以列族作为前缀。例如courses:history，courses:math都属于courses 这个列族。

　　访 问控制、磁盘和内存的使用统计都是在列族层面进行的。实际应用中，列族上的控制权限能帮助我们管理不同类型的应用：我们允许一些应用可以添加新的基本数 据、一些应用可以读取基本数据并创建继承的列族、一些应用则只允许浏览数据(甚至可能因为隐私的原因不能浏览所有数据)。

　　时间戳

　　HBase 中通过row和columns确定的为一个存贮单元称为cell。每个 cell都保存着同一份数据的多个版本。版本通过时间戳来索引。时间戳的类型是 64位整型。时间戳可以由hbase(在数据写入时自动 )赋值，此时时间戳是精确到毫秒的当前系统时间。时间戳也可以由客户显式赋值。如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳。每个 cell中，不同版本的数据按照时间倒序排序，即最新的数据排在最前面。

　　为了避免数据存在过多版本造成的的管理 (包括存贮和索引)负担，hbase提供了两种数据版本回收方式。一是保存数据的最后n个版本，二是保存最近一段时间内的版本(比如最近七天)。用户可以针对每个列族进行设置。

　　Cell

　　由{row key, column(=+ ), version} 唯一确定的单元。cell中的数据是没有类型的，全部是字节码形式存贮。

　　物理存储

　　1 已经提到过，Table中的所有行都按照row key的字典序排列。

　　2 Table 在行的方向上分割为多个Hregion。

　　

　　3 region按大小分割的，每个表一开始只有一个region，随着数据不断插入表，region不断增大，当增大到一个阀值的时候，Hregion就会等分会两个新的Hregion。当table中的行不断增多，就会有越来越多的Hregion。

　　

　　4 HRegion是Hbase中分布式存储和负载均衡的最小单元。最小单元就表示不同的Hregion可以分布在不同的HRegion server上。但一个Hregion是不会拆分到多个server上的。

　　

　　

　　5 HRegion虽然是分布式存储的最小单元，但并不是存储的最小单元。

　　事实上，HRegion由一个或者多个Store组成，每个store保存一个columns family。

　　每个Strore又由一个memStore和0至多个StoreFile组成。如图：

　　StoreFile以HFile格式保存在HDFS上。

　　

　　HFile的格式为：

　　

　　HFile分为六个部分：

　　Data Block 段–保存表中的数据，这部分可以被压缩

　　Meta Block 段 (可选的)–保存用户自定义的kv对，可以被压缩。

　　File Info 段–Hfile的元信息，不被压缩，用户也可以在这一部分添加自己的元信息。

　　Data Block Index 段–Data Block的索引。每条索引的key是被索引的block的第一条记录的key。

　　Meta Block Index段 (可选的)–Meta Block的索引。

　　Trailer– 这一段是定长的。保存了每一段的偏移量，读取一个HFile时，会首先读取Trailer，Trailer保存了每个段的起始位置(段的Magic Number用来做安全check)，然后，DataBlock Index会被读取到内存中，这样，当检索某个key时，不需要扫描整个HFile，而只需从内存中找到key所在的block，通过一次磁盘io将整个 block读取到内存中，再找到需要的key。DataBlock Index采用LRU机制淘汰。

　　HFile的Data Block，Meta Block通常采用压缩方式存储，压缩之后可以大大减少网络IO和磁盘IO，随之而来的开销当然是需要花费cpu进行压缩和解压缩。

　　目标Hfile的压缩支持两种方式：Gzip，Lzo。

　　shell

　　进入hbase shell console

　　$HBASE_HOME/bin/hbase shell

　　如果有kerberos认证，需要事先使用相应的keytab进行一下认证(使用kinit命令)，认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户

　　hbase(main)> whoami

　　表的管理

　　1)查看有哪些表

　　hbase(main)> list

　　使用exists 命令验证表是否被删除。

　　hbase(main)> exists 'test'

　　Table test does not exist

　　2)创建表

　　# 语法：create

, VERSIONS=> }

　　# 例如：创建表t1，有两个column family：f1，f2，且版本数均为2

　　hbase(main)> create 't1',{NAME=> 'f1', VERSIONS=> 2},{NAME=> 'f2', VERSIONS=> 2}

　　3)删除表

　　分两步：首先disable，然后drop

　　例如：删除表t1

　　hbase(main)> disable 't1'

　　hbase(main)> drop 't1'

　　4)查看表的结构

　　# 语法：describe

, {NAME=>

　　# 例如：查看表t1的结构

　　hbase(main)> describe 't1'

　　5)修改表结构

　　修改表结构必须先disable

　　添加列族

　　# 语法：alter 't1', {NAME=> 'f1'}, {NAME=> 'f2', METHOD=> 'delete'}

　　# 例如：修改表t1的cf的TTL为180天

　　hbase(main)> disable 't1'

　　hbase(main)> alter 't1',{NAME=>'body',TTL=>'15552000'},{NAME=>'meta', TTL=>'15552000'}

　　hbase(main)> alter 't1','body1','meta1'

　　hbase(main)> enable 't1'

　　删除列族

　　hbase> alter 'table name', 'delete'=> 'column family'

　　权限管理

　　1)分配权限

　　# 语法 : grant

参数后面用逗号分隔

　　# 权限用五个字母表示： "RWXCA".

　　# READ('R'), WRITE('W'), EXEC('X'), CREATE('C'), ADMIN('A')

　　# 例如，给用户'luanpeng'分配对表t1有读写的权限，

　　hbase(main)> grant 'luanpeng','RW','t1'

　　2)查看权限

　　# 语法：user_permission

　　# 例如，查看表t1的权限列表

　　hbase(main)> user_permission 't1'

　　3)收回权限

　　# 与分配权限类似，语法：revoke

　　# 例如，收回luanpeng用户在表t1上的权限

　　hbase(main)> revoke 'luanpeng','t1'

　　表数据的增删改查

　　1)添加数据

　　# 语法：put

,,,

　　# 例如：给表t1的添加一行记录：rowkey是rowkey001，family name是f1，column name是col1，value是value01，timestamp：系统默认

　　hbase(main)> put 't1','rowkey001','f1:col1','value01'

　　用法比较单一。

　　2)查询数据

　　a)查询某行记录

　　# 语法：get

,,[,....]

　　# 例如：查询表t1，rowkey001中的f1下的col1的值

　　hbase(main)> get 't1','rowkey001', 'f1:col1'

　　# 或者：

　　hbase(main)> get 't1','rowkey001', {COLUMN=>'f1:col1'}

　　# 查询表t1，rowke002中的f1下的所有列值

　　hbase(main)> get 't1','rowkey001'

　　b)扫描表

　　# 语法：scan

,,.... ], LIMIT=> num}

　　# 另外，还可以添加STARTROW、TIMERANGE和FITLER等高级功能

　　# 例如：扫描表t1的前5条数据

　　hbase(main)> scan 't1',{LIMIT=>5}

　　c)查询表中的数据行数

　　# 语法：count

, {COLUMNS=> [

　　# INTERVAL设置多少行显示一次及对应的rowkey，默认1000；CACHE每次去取的缓存区大小，默认是10，调整该参数可提高查询速度

　　# 例如，查询表t1中的行数，每100条显示一次，缓存区为500

　　hbase(main)> count 't1', {INTERVAL=> 100, CACHE=> 500}

　　3)删除数据

　　a )删除行中的某个列值

　　# 语法：delete

, {INTERVAL=> intervalNum, CACHE=> cacheNum} , , ,必须指定列名

　　# 例如：删除表t1，rowkey001中的f1:col1的数据

　　hbase(main)> delete 't1','rowkey001','f1:col1'

　　注：将删除改行f1:col1列所有版本的数据

　　b )删除行

　　# 语法：deleteall

, , , ，可以不指定列名，删除整行数据

　　# 例如：删除表t1，rowk001的数据

　　hbase(main)> deleteall 't1','rowkey001'

　　c)删除表中的所有数据

　　# 语法： truncate

,

　　# 其具体过程是：disable table -> drop table -> create table

　　# 例如：删除表t1的所有数据

　　hbase(main)> truncate 't1'

　　Region管理

　　1)移动region

　　# 语法：move 'encodeRegionName', 'ServerName'

　　# encodeRegionName指的regioName后面的编码，ServerName指的是master-status的Region Servers列表

　　# 示例

　　hbase(main)>move '4343995a58be8e5bbc739af1e91cd72d', 'db-41.xxx.xxx.org,60020,1390274516739'

　　2)开启/关闭region

　　# 语法：balance_switch true|false

　　hbase(main)> balance_switch

　　3)手动split

　　# 语法：split 'regionName', 'splitKey'

　　4)手动触发major compaction

　　#语法：

　　#Compact all regions in a table:

　　#hbase> major_compact 't1'

　　#Compact an entire region:

　　#hbase> major_compact 'r1'

　　#Compact a single column family within a region:

　　#hbase> major_compact 'r1', 'c1'

　　#Compact a single column family within a table:

　　#hbase> major_compact 't1', 'c1'

　　配置管理及节点重启

　　1)修改hdfs配置

　　hdfs配置位置：/etc/hadoop/conf

　　# 同步hdfs配置

　　cat /home/hadoop/slaves|xargs -i -t scp /etc/hadoop/conf/hdfs-site.xml hadoop@{}:/etc/hadoop/conf/hdfs-site.xml

　　#关闭：

　　cat /home/hadoop/slaves|xargs -i -t ssh hadoop@{} "sudo /home/hadoop/cdh4/hadoop-2.0.0-cdh4.2.1/sbin/hadoop-daemon.sh --config /etc/hadoop/conf stop datanode"

　　#启动：

　　cat /home/hadoop/slaves|xargs -i -t ssh hadoop@{} "sudo /home/hadoop/cdh4/hadoop-2.0.0-cdh4.2.1/sbin/hadoop-daemon.sh --config /etc/hadoop/conf start datanode"

　　2)修改hbase配置

　　hbase配置位置：/home/hadoop/hbase

　　# 同步hbase配置

　　cat /home/hadoop/hbase/conf/regionservers|xargs -i -t scp /home/hadoop/hbase/conf/hbase-site.xml hadoop@{}:/home/hadoop/hbase/conf/hbase-site.xml

　　# graceful重启

　　cd ~/hbase

　　bin/graceful_stop.sh --restart --reload --debug inspurXXX.xxx.xxx.org

　　hbase shell 脚本

　　编写一个文本文件hbasedemo.txt：

　　disable 'table1'

　　drop 'table1'

　　create 'table1', 'column_family1','column_family2'

　　list 'table1'

　　put 'table1', 'row_key1', 'column_family1:col1', 'value1'

　　put 'table1', 'row_key2', 'column_family1:col2', 'value2'

　　put 'table1', 'row_key3', 'column_family2:col3', 'value3'

　　put 'table1', 'row_key4', 'column_family2:col4', 'value4'

　　scan 'table1'

　　scan 'table1',{LIMIT=>5}

　　get 'table1', 'row_key1'

　　get 'table1','row_key1', 'column_family1:col1'

　　count 'table1'

　　disable 'table1'

　　alter 'table1',NAME=>'column_family3'

　　alter 'table1','delete'=>'column_family3'

　　enable 'table1'

　　describe 'table1'

　　grant 'root','RW','table1'

　　user_permission 'table1'

　　delete 'table1','row_key1','column_family1:col1'

　　deleteall 'table1','row_key1'

　　truncate 'table1'

　　在HBase shell中运行这个脚本

　　hbase shell hbasedemo.txt

　　需要注意的是，如果编写的txt文件中没有exit这条命令的话，当脚本执行完成后，会停留在hbase shell的界面中，如果有exit命令的话，就会退出到系统shell中。

　　Linux公社的RSS地址：https://www.linuxidc.com/rssFeed.aspx

　　本文永久更新链接地址：https://www.linuxidc.com/Linux/2019-01/156204.htm

　　

　　Ubuntu下HBase数据库的安装和配置文件详解

　　MySQL数据库备份实例详解

　　相关资讯

　　HBase数据结构 HBase基本语法

　　本文评论

　　查看全部评论 (0)

　　表情：

　　姓名：

　　匿名

　　字数

　　同意评论声明

　　评论声明

　　尊重网上道德，遵守中华人民共和国的各项有关法律法规

　　承担一切因您的行为而直接或间接导致的民事或刑事法律责任

　　本站管理人员有权保留或删除其管辖留言中的任意内容

　　本站有权在网站内转载或引用您的评论

　　参与本评论即表明您已经阅读并接受上述条款

　　最新资讯

　　MySQL数据库备份实例详解

　　人工智能创业公司希望监控您孩子的活动，以

　　AWS启动完全托管的文档数据库服务

　　Material UI v3.8.3 发布，Material Design

　　Spring Framework 5.1.4, 5.0.12 & 4.3.22

　　Angular 7.2.1 CLI 发布，支持TypeScript 3

　　HBase数据结构与基本语法详解.

相关文章

• 基本数据结构详解

  最近的面试中，数据结构被吊打了很多次。之前蚂蚁金服被加面，也是

  数据结构 平衡二叉树 时间复杂度

• HBase与Zookeeper数据结构查询

  一、前言　最近一年了吧，总是忙于特定项目的业务分析和顶层设计，很少花时间和精力放到具体的技术细节，感觉除了架构理念和分析能力的提升，在具体技术层次却并没有多大的进步。因为一些原因，总被人问及一些技术细节，很多细节都模糊了，花点时间，温习一下吧。技术部分将作为下一个阶段的工作重点。　二、操作说明查看Z...

  zookeeper 技术细节 数据

• (4)HBase数据结构

  文章目录RowKeyColumn FamilyCellTime Stamp命名空间RowKey与nosql数据库们一样,RowKey是用来检索记录的主键。访问HBASE table中的行，只有三种方式：1.通过单个RowKey访问(get)2.通过RowKey的range(正则)(like)3.全表扫描(scan)RowKey行键 (RowKey)可以是任意字符串(最大长度是64KB，...

  HBase

• 快速学习-HBase数据结构

  第4章 HBase数据结构4.1 RowKey与nosql数据库们一样,RowKey是用来检索记录的主键。访问HBASE table中的行，只有三种方式：通过单个RowKey访问通过RowKey的range(正则)全表扫描RowKey行键 (RowKey)可以是任意字符串(最大长度是64KB，实际应用中长度一般为 10-100bytes)，在HBASE内部，RowKey保存为字节数组...

  python mysql java 数据库 数据结构

• 算法与数据结构——2.数据结构基本概念

  数据结构基本概念： 数据结构是一门讨论“描述现实世界实体的数学模型(非数值计算)及其上的操作在计算机中如何表达和实现”的学科 是数据对象在计算机中的组织方式 (图表，图像，声音等属于非数值 数据对象必定与一系列加在其上的操作相关联 完成这些操作所用的方法就是算法 数值计算的程序设计问题： 结构静力分 ...

  数据 抽象数据类型 数据结构 逻辑结构 用例

• Python 基本语法,文件读写,数据结构和类型

  Python 基本语法,文件读写,数据结构和类型1.基本语法解释型(无需编译)、交互式、面向对象、跨平台、简单好用变量名：可以包括英文、数字以及下划线，但不能以数字开头，区分大小写变量类型：弱类型语言、无需声明数字Number：整型和浮点型字符串String：字符串拼接、长度、切片列表List：添加元素、求长、切片、删除元组Tuple：readonly字典Dictionary：赋值、判断

  Python

• 数据结构与算法—队列详解

  大纲前言 队列介绍基本属性 普通队列循环队列链式实现具体实现前言 栈和队列是一对

  队列 数据结构 数组 链表 出队

• 数据结构与算法—栈详解

  目录什么是栈设计与介绍数组实现结构设计push插入s什么是栈百度百科上，栈是这么定义的：栈(stack)又名堆

  数据结构 栈 链表 数组 入栈

• 【详解】数据结构

  大家好?我是你们的好朋友，程序员乌拉?。相遇是缘，既然来了就拎着小板凳坐下来一起唠会儿?，如果在文中有所收获，请别忘了一键三连，动动你发财的小手?，你的鼓励，是我创作的动力?！废话不多说，直接?开干吧！PS：文末干货，记得拎着小板凳离开的时候也给它顺走?座右铭：“懒”对一个人的毁灭性有多大，早起的重要性就多大。@TOC(数据结构详解)【详解】数据结构数据结构概念数据结构是为了实现对计算机数据有效使

  java python 数据结构

• 数据结构详解

  1 using System; 2 using System.Collections.Generic; 3 using System.Linq; 4 using System.Text; 5 using System.Threading.Tasks; 6 7 namespace ConsoleApp ...

  存储空间 数组 时间复杂度 数据结构 空间复杂度

• 01数据结构与算法分析之---数据结构基本概念

  本系列是阅读《数据结构与算法应用实践教程》第2版 主编 李文书 北京大学出版社 的读书笔记，加上自己的理解，更多的是学习的记录与反思，如有不妥，欢迎指正，非常感谢。

  数据结构与算法分析 数据结构 技术

• 数据结构 | 数据结构之基本概念

  阅读本文大约需要2分钟数据结构的基本概念01数据：数据时描述客观事物的数值、字符以及能输入机器且能被处理的各种符号集合。数据元素：数据元素是组成数据的基本单位，是数据集合的个体，在计算机中通常作为一个整体进行考虑和处理。例如：一个记录就是一个数据元素。数据的抽象：各种表、队列、栈、树、图、窗口、管理器等复杂的抽象数据类型。数据对象：数据对象是性质相同的数据元素的集合，是数据的一个子集。数据构成：①

  Java

• HBase存储数据结构LSM树

  转自 李智慧 从零开始学大数据传统的机械式磁盘的访问特性是连续读写很快，随机读写很慢。这

  HBase存储数据结构 数据 磁道 数据结构

• 基本数据结构

  值的集合：(1)0：表示接地或是假(2)1：表示接高电位或是真(3)x：表示未知状态，0,1，z，信号类型的默认值(4)z：高阻态，一般在总线时出现(5)integer：整数类型(6)real：实数类型(7)string：字符串型基数的表示方法：[size]'[s]basevaluebase可为：d，o，h，b关于位数不够的问题：(1)为无符号数时：左侧填充0(2)为有符号数时：左侧填充符

  基本 数据结构

• 数据结构——基本介绍

  基本介绍算法        在计算机领域里，算法是一系列程序指令，用于处理特定的运算和逻辑问题。 衡量算法优劣的主要标准是时间复杂度和空间复杂度。数据结构        数据结构是数据的组织、管理和存储格式，其使用目的是为了高效地访问和修改数据。 数据结构包含数组、链表这样的线性数据结构，也包含树、图这样的复杂数据结构。 时间复杂度       时间复杂度是对一个算法运行时间长短的量度，用大O表示

  数据结构

• java数据结构语法实例

  带遍历 public class Test4 { public static void main(String[] args) { HashMap<Phone,String> map = new HashMap<>(); map.put(new Phone("Apple",7000),"美国"); ...

  数据 删除元素 表结构 java

• 【数据结构】数据结构-图的基本概念

  图的简介     图(Graph)结构是一种非线性的数据结构，图在实际生活中有很多例子，比如交通运输网，地铁网络，社交网络，计算机中的状态执行(自动机)等等都可以抽象成图结构。图结构比树结构复杂的非线性结构。图结构构成 1.顶点(vertex)：图中的数据元素，如图一。2.边(edge)：图中连接这些顶点的线，如图一。

  图结构 有向图 无向图

• 数据结构—链表详解

  浅谈数据结构——链表 本篇随笔就数据结构——链表进行讲解。链表是一种特别实用的数据结构，我把它理解为 数组的升级版 ，也就是在数组的基础上，它能做到在任意位置添加或者删除元素，而不影响其他元素。链表还是我们进行图论学习时，图的常用存储方式——邻接表(链式前向星)的实现基础。学习链表需要读者具有一定的

  链表 数组 数据结构 初始化 结构体数组

• MongoDb数据结构详解

  首先，向数据库插入一条bjson数据 首先是定义文档，然后使用admin用户名密码登录，进入test数据库，向test数据库中插入此文档(“表名称和表中的记录”) 插入结果，查看mongoVUE如下图所示 从上图可以看出系统自带的三个数据库，local，admin，test，在加入一条记录的时候，会

  mongodb javascript 时间戳 unix json

51CTO首页

内容精选

博客

学堂

精培

企业培训

CTO训练营

开源基础软件社区

AISummit人工智能大会

WOT大会

移动端

公众号矩阵

博客

免费课程 课程排行 直播课 软考学堂

精品班 厂商认证 IT技术 2022年软考 PMP项目管理

在线学习 企业服务

CTO训练营 技术经理研习营 LeaTech峰会

文章 资源 问答 开源课堂 专栏 直播

官方博客	意见反馈	了解我们	全部文章
在线客服	网站地图	热门标签

友情链接

开源基础软件社区	51CTO学堂
51CTO