【HBase学习之四】HBase Client超时机制优化

生产服务遇到过一个故障，大体来说就是hbase集群故障，在没有设置hbase客户端超时的情况下，导致大量线程阻塞，从而影响了tomcat对其他服务请求的正常响应（504网关超时，超时率30%），需要规避这个问题需要两个方面，1.设定客户端访问超时时间；2.服务资源隔离。本篇关注第一点。

hbase.rpc.timeout：一次RPC请求的超时时间，如果某次RPC时间超过该值，客户端就会主动关闭socket。默认大小为60000ms，即1mins。

hbase.client.operation.timeout：

1.该参数表示HBase客户端发起一次数据操作直至得到响应之间总的超时时间，数据操作类型包括get，append，increment，delete，put等。

2.hbase.rpc.timeout表示一次RPC的超时时间。

3.hbase.client.operation.timeout则表示一次操作的超时时间，有可能包好多个RPC请求。

4.hbase.client.operation.timeout参数规定的超时基本涉及到了HBase所有的数据操作，唯独没有scan操作。

hbase.client.scanner.timeout.period: scan的超时时间

scan操作：

1)一次scan操作涉及多个RPC请求，一次请求大量数据的scan操作可能会导致多个严重后果。

2)服务端可能因为大量io操作导致io利用率很高，从而影响其他正常业务请求；大量数据传输会导致网络带宽等系统资源被大量占用；客户端也可能因为内存无法缓存这些数据导致OOM。

3)因此，hbase会将一次大的scan操作根据设置条件拆分为多个RPC请求，每次只返回规定数量的结果。scan代码示例：

Result result = resultScanner.next();
while (result != null) {Map<String, Object> response = Maps.newHashMap();for (Cell cell : result.rawCells()) {String prefixKey = new String(CellUtil.cloneQualifier(cell));String key = StringUtils.replace(prefixKey, param, "", 1);String value = new String(CellUtil.cloneValue(cell));response.put(key, value);}response.put("rowkey", new String(result.getRow(), Consts.UTF_8));resultList.add(response);result = resultScanner.next();
}

Author：忆之独秀

Email：leaguenew@qq.com

转载注明出处：https://blog.csdn.net/lavorange/article/details/103832356

【HBase学习之四】HBase Client超时机制优化相关推荐

HBase学习(四) HBase API操作
目录准备工作创建maven项目添加依赖 API操作创建HBase连接创建HBase表删除表向表中插入数据查看数据过滤器操作全部代码注意事项准备工作创建maven项目添加依赖 ...
【HBase学习笔记-尚硅谷-Java API shell命令谷粒微博案例】
HBase学习笔记 HBase 一.HBase简介 1.HBase介绍 2.HBase的逻辑结构和物理结构 3.数据模型 4.基本架构二.快速入门 1.配置HBase 2.命令三.API 1.获取 ...
HBase学习01--Hbase的安装
HBase学习01–Hbase的安装一.单机模式: 1.1 解压软件包 tar -zxvf hbase-1.1.3-bin.tar.gz 1.2 配置JAVA_HOME环境变量 cd /usr/lo ...
HBase之超时机制
客户端超时设置对整个系统的稳定性以及敏感性至关重要,一旦没有超时设置或超时时间设置过长,服务器端的长时间卡顿必然会引起客户端阻塞等待,进而影响上层应用.好在HBase提供了多个客户端参数设置超时,主要 ...
hbase 修改表名_HBase学习——2.HBase原理
1.系统架构 1.1 图解从HBase的架构图上可以看出,HBase中的组件包括Client.Zookeeper.HMaster.HRegionServer.HRegion.Store.MemSto ...
Hbase学习笔记(概念和搭建)
Hbase学习笔记 1.hbase的基本介绍简介 hbase是bigtable的开源java版本,是建立在hdfs之上,提供给高可靠性,高性能,列存储,可伸缩,实时读写的nosql的数据库系统,它介 ...
HBase学习-HBase原理
1.系统架构 1.1 图解从HBase的架构图上可以看出,HBase中的组件包括Client.Zookeeper.HMaster.HRegionServer.HRegion.Store.MemSto ...
HBASE学习使用经验
问题导读: 1. NOSQL是如何产生的以及Hbase 在NOSQL中的地位如何? 2. Hbase框架是如何架构出来的 ? 3. Hbase 是如何检索一条数据以及检索时间复杂度是多少? 4. 如何 ...
HBase学习提纲：助你一臂之力
HBase 简介: HBase是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统.可在廉价PC Server上搭建起大规模结构化存储集群. HBase利用Hadoop HDFS作为其文件存储系统, ...

【HBase学习之四】HBase Client超时机制优化

【HBase学习之四】HBase Client超时机制优化相关推荐

最新文章

热门文章