hbase 的shell操作中相关属性说明

Hbase 是一个分布式的、面向列的开源数据库，其实现是建立在google 的bigTable 理论之上，并基于hadoop HDFS文件系统。 Hbase不同于一般的关系型数据库(RDBMS)。是一种适用于非结构化数据存储的数据库，且Hbase是基于列的数据库。

下面的内容基于我们已经安装好hadoop、hbase。

一、hbase shell 介绍

hbase shell是用户和hbase 交互的接口之一，当然还可以通过其它方式比如java api等

下表列出了 hbase 基本命令操作：

操作	命令表达式	注意
创建表	create 'table_name, 'family1','family2','familyN'
添加记录	put 'table_name', 'rowkey', 'family:column', 'value'
查看记录	get 'table_name', 'rowkey'	查询单条记录，也是hbase 最常用的命令
查看表中的记录总数	count 'table_name'	这个命令并不快，且目前没有找到更快的方式统计行数
删除记录	delete 'table_name' ,'rowkey','family_name:column' deleteall 'table_name','rowkey'	第一种方式删除一条记录单列的数据第二种方式删除整条记录
删除记录		第一种方式删除一条记录单列的数据第二种方式删除整条记录
删除一张表	1、disable 'table_name'
删除一张表	2、drop 'table_name'
查看所有记录	scan "table_name" ,{LIMIT=>10}	LIMIT=>10 只返回10条记录，否则将全部展示

利用上面基础命令可以完成基本的hbase 操作，下面几个shell 命令在后续的hbase 操作中可以起到很到的作用，且主要体现在建表的过程中，看下面几个create 属性

1、BLOOMFILTER 默认是NONE 是否使用布隆过虑使用何种方式

布隆过滤可以每列族单独启用。使用 HColumnDescriptor.setBloomFilterType(NONE | ROW | ROWCOL) 对列族单独启用布隆。 Default = NONE 没有布隆过滤。对 ROW，行键的哈希在每次插入行时将被添加到布隆。对 ROWCOL，行键 + 列族 + 列族修饰的哈希将在每次插入行时添加到布隆

使用方法: create 'table',{BLOOMFILTER =>'ROW'}

启用布隆过滤可以节省必须读磁盘过程，可以有助于改进读取延迟

2、VERSIONS 默认是3 这个参数的意思是数据保留三个版本，如果我们认为我们的数据没有这么大的必要保留这么多，随时都在更新，而老版本的数据对我们毫无价值，那将此参数设为1 能节约2/3的空间

使用方法: create 'table',{VERSIONS=>'2'}

3、COMPRESSION 默认值是NONE 即不使用压缩

这个参数意思是该列族是否采用压缩，采用什么压缩算法

使用方法: create 'table',{NAME=>'info',COMPRESSION=>'SNAPPY'}

我建议采用SNAPPY压缩算法，个压缩算法的比较网上比较多，我从网上摘抄一个表格作为参考，具体的snappy 的安装后续会以单独章节进行描述。

这个表是Google几年前发布的一组测试数据，实际测试Snappy 和下表所列相差无几。

HBase中，在Snappy发布之前（Google 2011年对外发布Snappy），采用的LZO算法，目标是达到尽可能快的压缩和解压速度，同时减少对CPU的消耗；

在Snappy发布之后，建议采用Snappy算法（参考《HBase: The Definitive Guide》），具体可以根据实际情况对LZO和Snappy做过更详细的对比测试后再做选择。

Algorithm	% remaining	Encoding	Decoding
GZIP	13.4%	21 MB/s	118 MB/s
LZO	20.5%	135 MB/s	410 MB/s
Zippy/Snappy	22.2%	172 MB/s	409 MB/s

如果建表之初没有压缩，后来想要加入压缩算法，怎么办 hbase 有另外的一个命令alter

4、alter

使用方法：

如修改压缩算法

disable 'table'

alter 'table',{NAME=>'info',COMPRESSION=>'snappy'}

enable 'table'

删除列族

disable 'table'

alter 'table',{NAME=>'info',METHOD=>'delete'}

enable 'table'

但是这样修改之后发现表数据还是那么大，并没有发生多大变化。怎么办

major_compact 'table' 命令之后才会做实际的操作。

5、TTL 默认是 2147483647 即:Integer.MAX_VALUE 值大概是68年吧

这个参数是说明该列族数据的存活时间也就是数据的生命周期单位是s 默写文章写的单位是ms　是错误的。

这个参数可以根据　具体的需求　对数据设定　存活时间，超过存过时间的数据将在表中不在显示，待下次major compact的时候再彻底删除数据

为什么在下次major compact的时候删除数据，后面会具体介绍到。

注意的是TTL设定之后 MIN_VERSIONS=>'0' 这样设置之后，TTL时间戳过期后，将全部彻底删除该family 下所有的数据，如果MIN_VERSIONS 不等于0 那将保留最新

的MIN_VERSIONS个版本的数据，其它的全部删除，比如MIN_VERSIONS=>'1' 届时将保留一个最新版本的数据，其它版本的数据将不再保存。

6、describe 'table' 这个命令查看了create table 的各项参数或者是默认值。

7、disable_all 'toplist.*' disable_all 支持正则表达式，并列出当前匹配的表的如下：

toplist_a_total_1001

toplist_a_total_1002
  toplist_a_total_1008
  toplist_a_total_1009
  toplist_a_total_1019
  toplist_a_total_1035

...

Disable the above 25 tables (y/n)? 并给出确认提示

8、drop_all 这个命令和disable_all的使用方式是一样的

9、hbase 表预分区也就是手动分区

默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时，会按照region分区情况，在集群内做数据的负载均衡。

使用方法:create 't1', 'f1', {NUMREGIONS => 15, SPLITALGO => 'HexStringSplit'}

也可以使用 api的方式

hbase org.apache.hadoop.hbase.util.RegionSplitter test_table HexStringSplit -c 10 -f info

参数很容易看懂 test_table 是表名 HexStringSplit 是split 方式 -c 是分10个region -f 是family

这样就可以将表预先分为10个区，减少数据达到storefile 大小的时候自动分区的时间消耗，并且还有以一个优势，就是合理设计rowkey 能让各个region 的并发请求平均分配(趋于均匀) 使IO 效率达到最高，但是预分区需要将filesize 设置一个较大的值，设置哪个参数呢 hbase.hregion.max.filesize 这个值默认是10G 也就是说单个region 默认大小是10G

这个值发生从0.90 到0.92到0.94.3 从 256M--1G--10G 这个根据自己的需求将这个值修改。

但是如果MapReduce Input类型为TableInputFormat 使用hbase作为输入的时候，就要注意了，每个region一个map，如果数据小于10G 那只会启用一个map 造成很大的资源浪费，这时候可以考虑适当调小该参数的值，或者采用预分配region 的方式，并将hbase.hregion.max.filesize 设为一个相对比较大的值，不容易达到的值比如1000G，检测如果达到这个值，再手动分配region。

前面说到了 compact 为什么设置了TTL 超过存活时间的数据就消失了，是如何消失的呢？是删除了吗？通过哪些参数删除的。

后面将要说到 hbase compact

原文出自：http://blog.csdn.net/zhouleilei/article/details/12654329

hbase 的shell操作中相关属性说明相关推荐

HBase的Shell命令和JavaAPI
HBase的shell操作和JavaAPI的使用: Shell 表操作创建表 1 create 'student','info' #表名列族插入表 1 2 3 4 5 put 'student' ...
HBase常用shell命令和实践
create 创建表指定表名.列族.列族版本号 hbase >> create 't1' , { NAME => 'f1' , VERSIONS => 5} 创建表t1,3个 ...
【Hbase】第三章——Hbase的Shell操作与Java连接
文章目录任务 1.基本操作 1.1 进入客户端 1.2 namespace 1.3 DDL 1.4 DML 2. JavaApi连接Hbase 2.1 配置maven 2.2 配置log4j.pro ...
HBase常用Shell与JavaAPI操作
HBase常用Shell与JavaAPI操作 1.常用shell 2.JavaAPI操作 2.1.HBaseAdmin类 2.2.HBaseConfiguration类 2.3.HTableDescr ...
2021年大数据HBase（十四）：HBase的原理及其相关的工作机制
全网最详细的大数据HBase文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录系列历史文章 HBase的原理及其相关的工作机制一.HBase的flus ...
shell的相关知识（变量、脚本定义）
一.shell的相关知识: 1.对于shell编程语言大体分为:机器语言.汇编语言.高级语言 2.shell变量类型:事先确定数据的存储格式和长度 shell变量分为:字符型.数值型数值型又分为:整 ...
linux查看nginx运行状态,如何查看nginx运行状态及相关属性说明
如何查看nginx运行状态及相关属性说明. 需要查看nginx是否已经加载了 http_stub_status_module模块 /usr/sbin/nginx -V 查看nginx的安装状态 ng ...
【约束布局】ConstraintLayout 屏障 Barrier 约束 ( 简介 | 屏障适用场景 | 位置说明 | 相关属性 | 可视化操作 | 代码示例 | 总结 )
文章目录 I . 屏障 Barrier 约束简介 II . 屏障线 Barrier 与引导线 Guideline 对比 III . 屏障 Barrier 适用场景 IV . 屏障 Barrier ...
随手记一次用C#正则表达式获取下拉菜单html标签select以及相关属性值
随手记一次用C#正则表达式获取下拉菜单html标签<select>以及相关属性值 1:有如下html: .................. <select id="aaa ...

hbase 的shell操作中相关属性说明

hbase 的shell操作中相关属性说明相关推荐

最新文章

热门文章