11.4 优化拆分和合并（region）

2019独角兽企业重金招聘Python工程师标准>>>

一、手动分割

为了避免拆分/合并风暴，关闭region自动拆分、合并，手动调用split和major_compact命令。

1 设置hbase.hregion.max.filesize为一个很大的值，如，100G

2 使用API或shell实现手动分割、

二、热点问题

缓解region热点问题

手动将热点region分割成一个或多个region，然后将子region负载分布到多个region服务器上。
什么是表热点？

对于拥有多个region的表来说，大多数的region分布并不均匀，即大多数region在同一个服务器上。
解决表热点问题？

方法1：使用HBase shell 或 HBaseAdmin类中的API，通过move()函数显示的移动region到另外一台服务器上。

方法2：使用unassign（）方法或者shell命令简单地从当前服务器移除受影响表的region，master会立即将其部署到其他

region服务器上。

三、预分配

1 建表时预分配：使用HexStringSplit

create 'poidb', { NAME => 'info', COMPRESSION => 'snappy' }, {NUMREGIONS => 9, SPLITALGO => 'HexStringSplit'}

2 建表时预分配：指定startkey endkey

create 'testtable', 'colfam1', { SPLITS => [ 'row-100', 'row-200','row-300', 'row-400' ] }

3 查看60010 端口，hmaster进程，看新建表的分区。

四、合并region

1 使用工具类：hbase org.apache.hadoop.hbase.util.Merge

hbase org.apache.hadoop.hbase.util.Merge table \
poidb,1c71c71c,1401350387344.163071a6eb98d44e0e6d087ff9e48d53. \
poidb,38e38e38,1401350387344.86b9bb5b0989dcfe955c18f4a74450c7.

2 原理：在每个region中读取存储文件，并将它们合并成一个新的存储文件。

转载于:https://my.oschina.net/u/1537182/blog/270701

11.4 优化拆分和合并（region）相关推荐

HBase-Region的拆分与合并
1 Region拆分一个Region代表一个表的一段Rowkey的数据集合,当Region太大,Master会将其拆分.Region太大会导致读取效率太低,遍历时间太长,通过将大数据拆分到不同机器上, ...
Goldengate的拆分与合并
在使用Goldengate作为复制解决方案时,随着负载的增加,replicat组件常常是最先出现性能瓶颈的.为了适应不断增加的负载,就需要拆分replicat来实现并行复制,本文介绍Goldengat ...
html 单元格拆分及合并,表格合并和拆分.html
拆分与合并 table { margin: 50px auto 10px; } td { width: 100px; height: 100px; text-align: center; } td.a ...
细说PHP笔记03(第7章)--数组与数据结构，数组定义，数组遍历，数组内部指针遍历，键值操作函数，统计数组函数，回调函数处理数组元素，数组排序，拆分、合并、分解、结合数组，数组实现堆栈，随机选取元素
1.数组索引数组:索引值是整数关联数组:索引值是字符串 2.数组的定义 1.以直接赋值的方式声明 $数组名[下标]=资料内容或 $数组名[关联字符串(键值)]=资料内容 <?php $va ...
使用Adobe Acrobat DC完成图像转PDF，PDF拆分，合并，调整尺寸，调整大小
Use Adobe Acrobat DC to transform Image files to PDF, and split, combine, reshape PDF page, compress ...
DM8主备集群中主备库的拆分与合并
DM8主备集群中主备库的拆分与合并环境准备添加数据新建表空间及用户并赋权创建表 STUDENT 和 COURSE 插入数据并提交查询验证数据对主库进行在线备份停止集群停止守护进程停止 ...
opencv-python 9.4 拆分及合并图像通道
opencv-python 教程 https://www.cnblogs.com/Undo-self-blog/p/8424220.html 9.4 拆分及合并图像通道有时我们需要对 BGR 三个通 ...
linux下将多个文件去除文件头合并_命令行生存指南：拆分与合并 | Linux 中国
这一节将会介绍 Linux 命令行下的文件拆分与合并操作. 作者:Psiace (本文字数:2706,阅读时长大约:3 分钟) 作为一个工程师,我们经常与命令行打交道,但除了工作用的命令,你是否尝试过 ...
拆分命令_命令行生存指南：拆分与合并 | Linux 中国
导读:这一节将会介绍 Linux 命令行下的文件拆分与合并操作. 本文字数:2706,阅读时长大约:3分钟作者:Psiace 作为一个工程师,我们经常与命令行打交道,但除了工作用的命令,你是否尝试过让 ...

11.4 优化拆分和合并（region）

11.4 优化拆分和合并（region）相关推荐

最新文章

热门文章