1.概述

  在HBase-1.1.0之前,HBase集群中资源都是全量的。用户、表这些都是没有限制的,看似完美实则隐患较大。今天,笔者就给大家剖析一下HBase的流量限制和表的负载均衡。

2.内容

  也许有同学有疑问,为啥要做流量限制,无限制全量跑不是更好吗?举个例子,比如今天的双十一日,数据流量是非常大的。如果不限制用户和表的流量,某些重要的核心业务,需要在资源有限的情况下优先保证正常运行。如果非核心业务在此期间其QPS一直降不下来,严重消耗系统资源,影响核心业务的正常运作。

  针对上述问题,可以采取以下方案来解决:

  • 资源限制:针对用户、命名空间及表的请求大小和QPS进行限制。
  • 资源隔离:将不同表中的数据通过物理隔离,均衡到不同的RegionServer上。

3.资源限制

  开启HBase资源限制是有条件,其中包含以下两个条件:

  • 版本必须在1.1.0以上,或者在低版本中打上了HBase对应的Patch(HBASE-11598)
  • HBase的资源限制开关默认是关闭的,需要在HBase的配置文件中进行开启。添加内容如下所示:
# 编辑HBase配置文件
vi $HBASE_HONE/conf/hbase-site.xml# 添加如下内容<property><name>hbase.quota.enabled</name><value>true</value></property># 退出编辑并保存

  如果不是在首次启动时配置的,需要额外重启HMaster服务进程才能使之生效。

3.1 Quota语句

  HBase中限流是通过Quota语句来操作的,限流的方式有两种,一种是针对用户进行限流;另一种是针对表来进行限流。操作命令如下所示:

# 限制用户u1每秒请求10次
hbase> set_quota TYPE => THROTTLE, USER => 'u1', LIMIT => '10req/sec'# 限制用户u1每秒的读请求为10次
hbase> set_quota TYPE => THROTTLE, THROTTLE_TYPE => READ, USER => 'u1', LIMIT => '10req/sec'# 限制用户u1每天的请求量为10M
hbase> set_quota TYPE => THROTTLE, USER => 'u1', LIMIT => '10M/day'# 限制用户u1的写请求量每秒为10M
hbase> set_quota TYPE => THROTTLE, THROTTLE_TYPE => WRITE, USER => 'u1', LIMIT => '10M/sec'# 限制用户u1在操作表t2时,每分钟的请求量为5K
hbase> set_quota TYPE => THROTTLE, USER => 'u1', TABLE => 't2', LIMIT => '5K/min'# 限制用户u1在操作表t2时,每秒的读请求为10次
hbase> set_quota TYPE => THROTTLE, THROTTLE_TYPE => READ, USER => 'u1', TABLE => 't2', LIMIT => '10req/sec'# 删除用户u1在命令空间ns2的请求限制
hbase> set_quota TYPE => THROTTLE, USER => 'u1', NAMESPACE => 'ns2', LIMIT => NONE# 限制在命名空间ns1中每小时的请求为10次
hbase> set_quota TYPE => THROTTLE, NAMESPACE => 'ns1', LIMIT => '10req/hour'# 限制表t1每小时的请求为10T
hbase> set_quota TYPE => THROTTLE, TABLE => 't1', LIMIT => '10T/hour'# 删除用户u1的所有请求限制
hbase> set_quota TYPE => THROTTLE, USER => 'u1', LIMIT => NONE# 显示用户u1在命名空间ns2中的所有限制详情
hbase> list_quotas USER => 'u1, NAMESPACE => 'ns2'

# 显示命令空间ns2的所有限制详情
hbase> list_quotas NAMESPACE => 'ns2'# 显示表t1的所有限制详情
hbase> list_quotas TABLE => 't1'# 显示所有限制详情
hbase> list_quotas

  从操作的命令中可以看出,HBase限制流量支持表和用户。可以通过THROTTLE_TYPE来控制READ(读)、WRITE(写)操作,这类操作在HBase中是随机进行限制的。而LIMIT关键字,可以从两个维度进行资源限制,分别是req/time和size/time。

  • req/time:这种表示限制单位时间内的请求次数,time可以是秒、分、时、天,req表示次数。
  • size/time:这种表示单位时间内请求数据的量,time可以是秒、分、时、天,size可以时B (bytes), K (kilobytes), M (megabytes), G (gigabytes), T (terabytes), P (petabytes)。

  LIMIT限制默认大小是:10req/day 或 100P/hour。对于命令set_quota来说,执行这条命令仅仅是限制单个RegionServer上的流量,并不是整个集群的限制总量(集群限制总量=每个RegionServer的限制量*RegionNum)。另外,执行set_quota命令后,默认是需要等待300000秒(5分钟)才会生效。如果觉得时间太长,可以将生效时间缩短,通过hbase-site.xml文件中的参数hbase.quota.refresh.period来设置时间,比如:

# 一分钟后生效
hbase.quota.refresh.period=60000

3.2 限制命名空间中的表个数

  在创建命名空间中的表个数,可以在创建命名空间时指定,也可以在创建之后在此修改表个数,同样也可以删除表限制。通过设置hbase.namespace.quota.maxtables属性值来改变。操作内容如下所示:

# 创建一个命令空间最大包含5个表
hbase> create_namespace 'ns1', {'hbase.namespace.quota.maxtables'=>'5'}# 修改一个已存在的命令空间所允许的表数量大小为8个
hbase> alter_namespace 'ns2', {METHOD => 'set', 'hbase.namespace.quota.maxtables'=>'8'}# 显示命令空间下的所有详情
hbase> describe_namespace 'ns2'# 删除命令空间中表个数的限制
hbase> alter_namespace 'ns2', {METHOD => 'unset', NAME=>'hbase.namespace.quota.maxtables'}

3.3 限制命名空间的Region

  在创建命名空间时 ,可以限制Region的个数。在创建之后也可以通过命令来修改个数的上限值。具体操作如下所示:

# 创建一个命名空间最大包含10个Region
hbase> create_namespace 'ns1', {'hbase.namespace.quota.maxregions'=>'10'# 显示命令空间中详情
hbase> describe_namespace 'ns1'# 修改命名空间中最大Region个数为20个
hbase> alter_namespace 'ns2', {METHOD => 'set', 'hbase.namespace.quota.maxregions'=>'20'}# 删除命名空间中Region个数的限制
hbase> alter_namespace 'ns2', {METHOD => 'unset', NAME=> 'hbase.namespace.quota.maxregions'}

  这里也许有些同学在操作的过程当中遇到过,在请求操作限制阀值时,日志没有打印出错误信息,这是由于默认日志输出时INFO级别,不会打印这类异常,如果要查看,可以通过修改log4j的日志级别为DEBUG,这样就可以查看到对应的异常信息了。

4.资源隔离

  在HBase中可以通过资源隔离的方式来间接的限流。将请求均衡到多个RegionServer中去。通过balance_switch命令来实现自动均衡操作。命令如下:

# 停止自动均衡
balance_switch false# 开启自动均衡
balance_switch true

  在实际业务中,如果HBase某个表的RegionServer全部集中在一个上,这时候可以考虑使用move命令手动均衡操作,具体操作语法如下:

# move手动操作语法
move [region id] [ServerName]

  如下图所示:

  从图中一个Table Region来说,”t2,,1510401809742.bd015fc10e75b70a52adc0c32a2321c2.“其中region id为”bd015fc10e75b70a52adc0c32a2321c2“。我们可以在HBase集群客户端执行以下命令来手动指定region。命令如下所示:

# 将该Region(dn3)移动到Region(dn1)echo "move 'bd015fc10e75b70a52adc0c32a2321c2','dn1,16020,1510401268652'"|hbase shell

  在往HBase表中写数据的时候,默认是往一个Region中写数据,当数据量很大时,才会自动拆分成多个Region,拆分的规则和RowKey设计有关。为了防止出现这种情况,我们可以在创建表的时候进行预分区操作。命令如下所示:

# 创建表的预分区(6个Region),RegionTotals = SPLITS.length + 1create 't2', 'cf', SPLITS => ['0001','0002','0003','0004','0005']

  这样我们可以拆分成6个Region,这里也许有同学要问,为什么是6个Region。其实,从上图中就可以看出,表分区中第一个Region是没有StartKey,最后一个Region是没有EndKey的。为什么会出现这种情况,下面就给大家来剖析这个原因。如下图所示:

  从图中可知,在第一个Region中只有EndKey,没有StartKey。第一个Region中的EndKey(0001),就是第二个Region的StartKey,以此类推,到最后一个Region就只有StartKey(0005)了。这就是为什么第一个Region没有StartKey,最后一个Region没有EndKey的原因。

  其实,我们在使用HBase的Java API获取Region的StartKey和EndKey的时候,有时会出现Null,也就是这个原因。

5.总结

  在使用Quota命令进行限流时,需要确保hbase-site.xml文件中的限流属性开启。另外,在对表做手动均衡操作时,使用move命令即可。HBase是有自动均衡的策略的,均衡的Region取决于设计分割的Key,Key的产生又和HBase中中Rowkey的设计息息相关。所以,HBase中表的RowKey设计的是否优秀,决定了Region均衡时,分割Key的选取。

6.结束语

  这篇博客就和大家分享到这里,如果大家在研究学习的过程当中有什么问题,可以加群进行讨论或发送邮件给我,我会尽我所能为您解答,与君共勉。

HBase流量限制和表负载均衡剖析相关推荐

  1. 负载均衡续:万亿流量场景下的负载均衡实践

    高并发优化系列文章(持续更新补充) 垂直性能提升 1.1. 架构优化:集群部署,负载均衡 1.2. 本篇内容:万亿流量下负载均衡的实现 上篇基本把负载均衡涉及到的基础都罗列了,那么到了实际场景下,特别 ...

  2. 小白入门:大型网站技术架构负载均衡技术介绍及学习资源推荐

    十年间,负载均衡的前沿技术层出不穷,令用户眼花缭乱.经常在技术网站.文档中出现的"四层负载均衡"."七层负载均衡"字眼有什么含义?有什么区别?对客户网络有哪些不 ...

  3. lvs-nat负载均衡模式

    文章的开始,我们要先弄懂一下几个问题 1. 为什么要使用lvs? 随着互联网的发展使多媒体网络服务器面对的访问量快速增加,服务器需要具备提供大量并发访问的能力,因此对于大负载的服务器来讲,CPU,I/ ...

  4. MGW——美团点评高性能四层负载均衡

    本文整理自美团点评技术沙龙第14期:美团背后的故事-你不知道的美团云. 美团点评技术沙龙由美团点评技术团队主办,每月一期.每期沙龙邀请美团点评及其他互联网公司的技术专家分享来自一线的实践经验,覆盖各主 ...

  5. 面试官问:HTTP 的负载均衡你了解么?你不是说了你们用的Nginx么?说一下把。...

    1.HTTP 重定向 1.1 重定向是什么 重定向(Redirect)就是通过各种方法将各种网络请求重新定个方向转到其它位置(如:网页重定向.域名的重定向.路由选择的变化也是对数据报文经由路径的一种重 ...

  6. 清默网络——负载均衡

    负载均衡 负载均衡分为等价负载均衡和非等价负载均衡,等价指的是与路由相关联的度量值.       等价负载均衡:将流量均匀地分布到多条度量值相同的路径上. 非等价负载均衡:将数据包分布到度量值不同的多 ...

  7. Nginx运维之一 反向代理、动静分离、负载均衡

    Nginx运维之一 反向代理.动静分离.负载均衡 Nginx简述 Nginx 优势功能 Tengine 反向代理 正向代理 反向代理 动静分离 负载均衡 Nginx简述 Nginx是lgor Syso ...

  8. java服务架构 之MGW(美团点评高性能四层负载均衡)

    为什么80%的码农都做不了架构师?>>>    本文整理自美团点评技术沙龙第14期:美团背后的故事-你不知道的美团云. 美团点评技术沙龙由美团点评技术团队主办,每月一期.每期沙龙邀请 ...

  9. WEB集群与各种负载均衡简介 (资源)

    2019独角兽企业重金招聘Python工程师标准>>>                                负载均衡构架图      集群(Cluster):是一组独立的计 ...

最新文章

  1. 80年代高考数学卷,共10套,有您做过的高考卷吗?
  2. 第十四周项目三-数组类模板
  3. js中三元运算符的两种情况
  4. AMAZING AUCTION (第三届省赛)
  5. Maven,Eclipse和Java 9
  6. 神级程序员8000行css代码画出一个蒙娜丽莎,堪比达芬奇!
  7. Android学习——Fragment动态加载
  8. Kubernetes 小白学习笔记(13)--k8s集群路线-init流程
  9. java实现k线图自动化_Python秒绘交互式股票K线图!这就是Python的优势!
  10. STM32学习心得一:FlyMcu软件配置(STM32串口下载软件)
  11. 第十七届振兴杯计算机程序设计员(云计算平台运维与开发)决赛
  12. Base64编码解析以及加密、解密实现
  13. JavaWeb项目案例(一)
  14. 计算机硬件方面专业术语,计算机专业术语(一)
  15. 严重性代码说明项目文件行 禁止显示状态错误 C4996 scanf
  16. WINRAR -- CRC校验失败,文件被破坏
  17. HTML5游戏出现新转机
  18. 介绍一款Excel数据收集软件,简单好用
  19. 修改版——制作交叉编译工具链的方法总结
  20. Linux学习(二)

热门文章

  1. VB 将文件夹复制到指定目录
  2. SCPPO(二十七):技术盛宴—报表交流会
  3. 景驰科技与联通实现全国首个5G网络下L4级无人驾驶应用
  4. 一大波DeepMind专利来袭,AI圈瑟瑟发抖:连RNN都是你家的?
  5. 是不是好奇号不够好奇,NASA要送机器蜜蜂上火星?
  6. BZOJ2406矩阵——有上下界的可行流+二分答案
  7. 推动运营商安全标准体系建设
  8. Dubbo系列(1)_背景介绍和基本情况
  9. HoloLens开发手记 - 使用HoloLens模拟器 Using HoloLens emulator
  10. 11G新特性 -- 分区表和增量统计信息