hbase数据库连接池 未设置最大链接数导致数据库操作异常频发
简介
业务中将主要数据存储定位hbase存储，近期突然发现数据比对不上，发现实在创建环节发生异常导致逻辑执行终端（hbase存储或查询出现异常）。
表现：
供应商提供参考：
供应商提供的解决方案：
关闭超过90s未使用的链接是一种保护方案，可以重新链接一下就好了
第一次按照解决方案优化结果
按照供应商提供的解决思路，对核心调用环节增加了异常捕获和重试（4次），依然还是有很多超过两次以上的异常报错，因为可能造成的影响很大，因此继续和供应商沟通是否有彻底解决方案，避免此类问题出现或者将降低频率降到最低，每天遇到几百次异常这个意味着我们应用属于不稳定不可靠
再次沟通，确认为什么需要释放链接以及满足什么条件释放超过90s未使用的链接
1.服务端链接数超过1000
2.链接超过90s未使用
应用现状
1.目前hbase实例只有我们一个业务再用
2.连接池初始值和最小连接数初始值都是10
3.未设置最大链接数据（最主要）
4.集群大小8
问题定位
1.因为业务有大量读写需求，可能会有负载不均的情况导致链接增长过快
2.连接池参数配置不合理
解决方案
1.现有代码不进行调整
2.设置最大链接数结合集群数量确保已知连接数不超过1000或控制在500以内
注：链接池连接数并不是越大越好，创建和释放链接都是比较消耗资源和耗时的
3.最大链接数设置为50 （50*8=400）
注：集群最多占用400个链接不会触发服务端链接释放
结果：
重启应用后链接释放异常得到解决，后续还需要持续观察两天。目前看已经彻底解决
参考资料：
通过Lindorm宽表SQL Java API连接并使用宽表引擎
hbase数据库连接池 未设置最大链接数导致数据库操作异常频发相关推荐
- mysql 配置文件设置最大链接数 max_connections不生效
mysql 配置文件设置最大链接数 max_connections不生效 文章目录 mysql 配置文件设置最大链接数 max_connections不生效 参考链接 1.临时设置最大链接数为1000 ...
- java线程池合理设置最大线程数和核心线程数
工作中有这样一个场景,需要处理千万级别的数据的一个算法,大部分是增删查的操作.这个时候就需要使用多线程去处理. 一开始是这么配置的: @Configuration @EnableAsync(proxy ...
- golang数据库连接池参数设置
SetMaxOpenConns(maxOpenConns) 连接池最多同时打开的连接数. 这个maxOpenConns理应要设置得比mysql服务器的max_connections值要小. 一般设置为 ...
- 基于tomcat5.5的数据库连接池环境设置
1.安装tomcat5.5的admin package tomcat5.5版本中的admin没有默认安装,先下载admin package jakarta-tomcat-5.5.9-admin.zip ...
- 基于tomcat5.5的数据库连接池环境设置(省的以后找系列)
1.安装tomcat5.5的admin package tomcat5.5版本中的admin没有默认安装,先下载admin package jakarta-tomcat-5.5.9-admin.zip ...
- 【手写系列】理解数据库连接池底层原理之手写实现
前言 数据库连接池的基本思想是:为数据库连接建立一个"缓冲池",预先在池中放入一定数量的数据库连接管道,需要时,从池子中取出管道进行使用,操作完毕后,再将管道放入池子中,从而避免了 ...
- java面试 数据库连接池_阿里面试官：数据库连接池有必要吗？你对它的底层实现了解过没？...
# 前言 数据库连接池的基本思想是:为数据库连接建立一个"缓冲池",预先在池中放入一定数量的数据库连接管道,需要时,从池子中取出管道进行使用,操作完毕后,在将管道放入池子中,从而避 ...
- [转自microsoft]NET 数据访问架构指南,-数据库连接的测试.即监视链接池化
NET 数据访问架构指南 Alex Mackman, Chris Brooks, Steve Busby, 和 Ed Jezierski 微软公司 2001年10月 概述:本文提供了在多层.NET应用 ...
- 数据库连接池设置多大才合适？
程序员的成长之路 互联网/程序员/技术/资料共享 关注 阅读本文大概需要 4 分钟. 来自:www.jianshu.com/p/a8f653fc0c54 本文内容95%译自这篇文章: https:// ...
最新文章
- PCL：基于PCL绘制包围盒基础介绍（1）
- TurboMail邮件系统通过涉密信息系统产品认定
- 经典C语言程序100例之三九
- 使用Mybatis-Generator自动生成Dao、Model、Mapping相关文件(转)
- 如何给Docker hub用户上传头像
- jmeter连数据库
- python多久可以精通_学Python需要多久能学会?精通Python需要多长时间?
- Spring MVC源码分析(一) 说明
- ubuntu14.04 mysql5.6_ubuntu14.04编译安装mysql5.6.28
- 03.三月风雨愁断肠，学习大数据特别忧伤——谈谈AKS创建SQL Server大数据群集创建愁断肠
- APP时间界面设计模板，可临摹学习的好素材
- CSS 块状元素和内联元素
- linux七周四次课（3月22日）
- 统计用区划和城乡划分代码,在线爬取代码
- 【算法专题】链表排序算法总结
- 代管挂账业务，没有做代管挂账确认单是否可以暂估入账
- 本题要求实现一个判断素数的简单函数、以及利用该函数计算给定区间内素数和的函数。
- C++哈利波特代码（下）
- 【EXLIBRIS】#小词旮旯# 000 初衷
- Docker关闭容器命令(docker stop)