HBase基本概念和hbase shell常用命令用法
1. 简介
HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
2. HBase的表结构
HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族/列簇(column family)。
|
Row Key |
column-family1 |
column-family2 |
column-family3 |
|||
|
column1 |
column2 |
column1 |
column2 |
column3 |
column1 |
|
|
key1 |
t1:abc t2:gdxdf |
t4:dfads t3:hello t2:world |
||||
|
key2 |
t3:abc t1:gdxdf |
t4:dfads t3:hello |
t2:dfdsfa t3:dfdf |
|||
|
key3 |
t2:dfadfasd t1:dfdasddsf |
t2:dfxxdfasd t1:taobao.com |
||||
如上图所示，key1,key2,key3是三条记录的唯一的row key值，column-family1,column-family2,column-family3是三个列族，每个列族下又包括几列。比如column-family1这个列族下包括两列，名字是column1和column2，t1:abc,t2:gdxdf是由row key1和column-family1-column1唯一确定的一个单元cell。这个cell中有两个数据，abc和gdxdf。两个值的时间戳不一样，分别是t1,t2, hbase会返回最新时间的值给请求者。
这些名词的具体含义如下：
(1) Row Key
与nosql数据库们一样,row key是用来检索记录的主键。访问hbase table中的行，只有三种方式：
(1.1) 通过单个row key访问
(1.2) 通过row key的range
(1.3) 全表扫描
Row key行键 (Row key)可以是任意字符串(最大长度是 64KB，实际应用中长度一般为 10-100bytes)，在hbase内部，row key保存为字节数组。
存储时，数据按照Row key的字典序(byte order)排序存储。设计key时，要充分排序存储这个特性，将经常一起读取的行存储放到一起。(位置相关性)
注意：
字典序对int排序的结果是1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,…,9,91,92,93,94,95,96,97,98,99。要保持整形的自然序，行键必须用0作左填充。
行的一次读写是原子操作 (不论一次读写多少列)。这个设计决策能够使用户很容易的理解程序在对同一个行进行并发更新操作时的行为。
(2) 列族 column family
hbase表中的每个列，都归属与某个列族。列族是表的chema的一部分(而列不是)，必须在使用表之前定义。列名都以列族作为前缀。例如courses:history ， courses:math 都属于 courses 这个列族。
访问控制、磁盘和内存的使用统计都是在列族层面进行的。实际应用中，列族上的控制权限能帮助我们管理不同类型的应用：我们允许一些应用可以添加新的基本数据、一些应用可以读取基本数据并创建继承的列族、一些应用则只允许浏览数据（甚至可能因为隐私的原因不能浏览所有数据）。
(3) 单元 Cell
HBase中通过row和columns确定的为一个存贮单元称为cell。由{row key, column( =<family> + <label>), version} 唯一确定的单元。cell中的数据是没有类型的，全部是字节码形式存贮。
(4) 时间戳 timestamp
每个cell都保存着同一份数据的多个版本。版本通过时间戳来索引。时间戳的类型是 64位整型。时间戳可以由hbase(在数据写入时自动 )赋值，此时时间戳是精确到毫秒的当前系统时间。时间戳也可以由客户显式赋值。如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳。每个cell中，不同版本的数据按照时间倒序排序，即最新的数据排在最前面。
为了避免数据存在过多版本造成的的管理 (包括存贮和索引)负担，hbase提供了两种数据版本回收方式。一是保存数据的最后n个版本，二是保存最近一段时间内的版本（比如最近七天）。用户可以针对每个列族进行设置。
3. HBase shell的基本用法
hbase提供了一个shell的终端给用户交互。通过执行 help get 可以看到命令的帮助信息。
以网上的一个学生成绩表的例子来演示hbase的用法。
|
name |
grad |
course |
|
|
math |
art |
||
|
zkb |
5 |
97 |
87 |
|
baoniu |
4 |
89 |
80 |
这里grad对于表来说是一个列,course对于表来说是一个列族,这个列族由两个列组成math和art,当然我们可以根据我们的需要在course中建立更多的列族,如computer,physics等相应的列添加入course列族。图中需要注意的是90这个值，列族下面的列也是可以没有名字的。
(1) 建立一个表格scores 具有两个列族grad 和courese
hbase(main):001:0> create'scores','grade', 'course'
|
0 row(s) in 0.4780 seconds
|
(2) 查看当前HBase中具有哪些表
hbase(main):002:0> list
|
TABLE
|
scores
|
1 row(s) in 0.0270 seconds
|
(3) 查看表的构造
hbase(main):004:0> describe'scores'
|
DESCRIPTION ENABLED
|
{NAME => 'scores', FAMILIES => [{NAME =>'course', BLOOMFILTER => 'NONE', REPLICATION_SCOPE =>'0', true
|
COMPRESSION => 'NONE', VERSIONS =>'3', TTL => '2147483647', BLOCKSIZE =>'65536', IN_MEMORY => 'fal
|
se', BLOCKCACHE => 'true'}, {NAME => 'grade', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0', COMPR
|
ESSION => 'NONE', VERSIONS => '3', TTL => '2147483647', BLOCKSIZE =>'65536', IN_MEMORY =>'false',
|
BLOCKCACHE =>'true'}]}
|
1 row(s) in 0.0390 seconds
|
(4) 加入一行数据,行名称为zkb 列族grad的列名为”” 值位5
hbase(main):006:0> put'scores','zkb','grade:','5'
|
0 row(s) in 0.0420 seconds
|
(5) 给zkb这一行的数据的列族course添加一列<math,97>
hbase(main):007:0> put'scores','zkb','course:math','97'
|
0 row(s) in 0.0270 seconds
|
(6) 给zkb这一行的数据的列族course添加一列<art,87>
hbase(main):008:0> put'scores','zkb','course:art','87'
|
0 row(s) in 0.0260 seconds
|
(7) 加入一行数据,行名称为baoniu 列族grad的列名为”” 值为4
hbase(main):009:0> put'scores','baoniu','grade:','4'
|
0 row(s) in 0.0260 seconds
|
(8) 给baoniu这一行的数据的列族course添加一列<math,89>
hbase(main):010:0> put'scores','baoniu','course:math','89'
|
0 row(s) in 0.0270 seconds
|
(9) 给Jerry这一行的数据的列族course添加一列<art,80>
hbase(main):011:0> put'scores','baoniu','course:art','80'
|
0 row(s) in 0.0270 seconds
|
(10) 查看scores表中zkb的相关数据
hbase(main):012:0> get'scores','zkb'
|
COLUMN CELL
|
course:art timestamp=1316100110921, value=87
|
course:math timestamp=1316100025944, value=97
|
grade: timestamp=1316099975625, value=5
|
3 row(s) in 0.0480 seconds
|
(11) 查看scores表中所有数据
注意：scan命令可以指定startrow,stoprow来scan多个row，例如：scan 'user_test',{COLUMNS =>'info:username',LIMIT =>10, STARTROW => 'test',STOPROW=>'test2'}
hbase(main):013:0> scan'scores'
|
ROW COLUMN+CELL
|
baoniu column=course:art, timestamp=1316100293784, value=80
|
baoniu column=course:math, timestamp=1316100234410, value=89
|
baoniu column=grade:, timestamp=1316100178609, value=4
|
zkb column=course:art, timestamp=1316100110921, value=87
|
zkb column=course:math, timestamp=1316100025944, value=97
|
zkb column=grade:, timestamp=1316099975625, value=5
|
2 row(s) in 0.0470 seconds
|
(12) 查看scores表中所有数据courses列族的所有数据
hbase(main):017:0> scan'scores',{COLUMNS => 'course'}
|
ROW COLUMN+CELL
|
baoniu column=course:art, timestamp=1316100293784, value=80
|
baoniu column=course:math, timestamp=1316100234410, value=89
|
zkb column=course:art, timestamp=1316100110921, value=87
|
zkb column=course:math, timestamp=1316100025944, value=97
|
2 row(s) in 0.0350 seconds
|
(13) 删除scores表
hbase(main):024:0> disable'scores'
|
0 row(s) in 0.0330 seconds
|
hbase(main):025:0> drop'scores'
|
0 row(s) in 1.0840 seconds
|
总结下，hbase shell常用的操作命令有create,describe,disable,drop,list,scan,put,get,delete,deleteall,count,status等，通过help可以看到详细的用法。
HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族/列簇(column family)。
如上图所示，key1, key2, key3是三条记录的唯一的row key值，column-family1, column-family2, column-family3是三个列族，每个列族下又包括几列。比如 column-family1这个列族下包括两列，名字是column1和column2。t1:abc,t2:gdxdf是由row key1和column-family1-column1唯一确定的一个单元cell。这个cell中有两个数据，abc和gdxdf。两个值的时间戳不一样，分别是t1,t2, hbase会返回最新时间的值给请求者。
二. 安装
下载HBase最新版本，放到合适的目录，比如/usr/local 或 /opt
之后解压
tar -zxvf hbase-x.y.z tar.gz
三. 命令行操作
进入解压后的目录，开启hbase，启动hbase shell
bin/start-hbase.sh bin/hbase shell
输入 help 可以看到命令分组
部分命令清单
下边分组举例
general操作
查询服务器状态 status
查询hbase版本 version
ddl操作
1. 创建一个表
create 'table1', 'tab1_id', 'tab1_add', 'tab1_info'
2. 列出所有的表
list
3. 获得表的描述
describe "table1"
4. 删除一个列族 disable alter enable
disable 'table1'
alter 'table1', {NAME=>'tab1_add', METHOD=>'delete'}
enable 'table1'
5. 查看表是否存在
exists 'table2'
6. 判断表是否为‘enable’
is_enabled 'table1'
判断表是否为‘disable’
is_disabled 'table1'
7. 删除一个表
disable 'table1' drop 'table1'
dml操作
1. 插入几条记录
|
1
2
3
4
5
6
|
put 'member', 'scutshuxue', 'info:age', '24'
put 'member', 'scutshuxue', 'info:birthday', '1987-06-17'
put 'member', 'scutshuxue', 'info:company', 'alibaba'
put 'member', 'scutshuxue', 'address:contry', 'china'
put 'member', 'scutshuxue', 'address:province', 'zhejiang'
put 'member', 'scutshuxue', 'address:city', 'hangzhou'
|
2. 全表扫描 scan
3. 获得数据 get
3.1 获得一行的所有数据
3.2 获得某行，某列族的所有数据
3.3 获得某行，某列族，某列的所有数据
4. 更新一条记录 put（把scutshuxue年龄改为99）
put 'member', 'scutshuxue', 'info:age', 99
5. 删除 delete、 deleteall
5.1 (删除行'scutshuxue', 列族为‘info' 中age的值
delete 'member', 'scutshuxue', 'info:age'
5.2 删除整行
deleteall 'member', 'scutshuxue'
6. 查询表中有多少行
count 'member'
7. 给‘xiaoming’这个id增加'info:age'字段，并使用counter实现递增
incr 'member', 'xiaoming', 'info:age'
8. 将整个表清空
truncate 'member'
tools操作
1. 创建一个表
HBase基本概念和hbase shell常用命令用法相关推荐
- 01 HBase基本概念和hbase shell常用命令用法
本文转载自:http://archive.cnblogs.com/a/2178064/ 1. 简介 HBase是一个分布式的.面向列的开源数据库,源于google的一篇论文<bigtable:一 ...
- shell 常用命令-source
文章目录 前言 shell 常用命令-source 01 概念 02 作用 03 source filename与 sh filename 及./filenmae 执行脚本对比 前言 如果您觉得有 ...
- shell 常用命令
shell 常用命令 Shell基本命令 几个基本的shell命令,用ssh管理主机必备. 1.ls 列出目录下的文件,不同类型的文件颜色不同,例如蓝色是文件夹,白色是文件 [root@restor ...
- UEFI Shell 常用命令
UEFI Shell 常用命令 分类:IT技术 2013-09-11 16:49阅读(14542)评论(0) EFI是Extensible Firmware Interface的缩写,是介于平台固件和 ...
- android adb shell 常用命令
adbshell.com/ adb常用命令 1.模拟点击 adb shell input tap 100 100 复制代码 2.滑动 adb shell input swipe x1 y1 x2 y2 ...
- adb 输入回车命令_Android超级终端（Adb Shell)常用命令、命令大全-持续更新 | 何连超的博客小站...
Android超级终端(Adb Shell)常用命令.命令大全-持续更新 超级终端(手机端操作)与AdbShell(电脑端操作)使用的Shell命令(即Linux shell命令,类似Dos命令)是相 ...
- 终端shell常用命令
终端shell常用命令 1.ls命令 – 显示指定工作目录下的内容及属性信息 语法格式: ls [选项] [文件] **语句功能:**列出指定目录下的内容及其相关属性信息. 常用参数: -a 显示所有 ...
- Shell常用命令 和 bat常用命令
linux和windows下的反斜杠\和正斜杠/区别 Windows:--"/"是表示参数,"\"是表示本地路径. xcopy /E /Y D:\DailyBu ...
- Shell常用命令分享
Shell常用命令分享 1.常用操作 第一次进入Linux会用到的命令 ls(按顺序显示文件), cd(cd -), cat, mv, cp, rm(注意rm -rf前要ls), touch, mkd ...
最新文章
- Java箭头函数,lambda函数
- 贪污经费，撤销院士称号！
- 【智驾深谈】Mobileye，用单目视觉点亮自动驾驶
- Git错误non-fast-forward后的冲突解决
- 淘宝npm镜像使用方法(转)
- 微信小程序python解析获取用户手机号_python获取微信小程序openid及用户信息
- command对象的ExecuteScalar方法
- 2018暑期做题部分整合
- 设计一种网络分播软件
- sort ascend matlab,MATLAB sort函数用法
- 深入了解AI在金融、能源领域的网络安全应用
- django python3 异步_详解配置Django的Celery异步之路踩坑
- 【BZOJ】1001: [BeiJing2006]狼抓兔子 Dinic算法求解平面图对偶图-最小割
- 安装Google play 服务等四件套
- 高速PCB基础-电源分配网络
- AutoCAD2020中文版软件下载和安装教程|兼容WIN10
- spring boot火车票预订系统毕业设计-附源码091029
- 为人处世，请从学会闭嘴开始！
- dock接口_回看手机接口发展史：TypeC将实现大一统？
- 【如何编码实现一个随机点名器】
热门文章
- 【数字信号处理】线性时不变系统 LTI ( 判断某个系统是否是 “ 线性 “ 系统 | 案例四 )
- 【Android 逆向】Frida 框架 ( 安装 frida 12.7.5 | 安装 frida-tools 5.1.0 | PC 端 frida 与 安卓模拟器端 frida-server )
- 【Flutter】HTTP 网络操作 ( 引入 http 插件 | 测试网站 | Get 请求 | Post 请求 | 将响应结果转为 Dart 对象 | Future 异步调用 )
- 【Flutter】Dart 数据类型 ( dynamic 数据类型 )
- 【组合数学】生成函数 ( 正整数拆分 | 无序 | 有序 | 允许重复 | 不允许重复 | 无序不重复拆分 | 无序重复拆分 )
- cosbench 安装
- String类型数组 根据首字母排序
- mysql 触发器介绍
- 中秋之晚开始 编程语言学习之路
- GO语言中json与map的转换