一 前言

应用执行SQL请求完成的过程中,数据库连接占很重要一部分。尤其是涉及到流量瞬间暴涨,需要创建大量连接,或者网络异常导致重连时,从业务端来看,sql执行缓慢的问题,此时sql执行并非真的慢。 本文是基于我们自己的生产环境的Durid最佳实践,仅供各位参考,当然不同公司的链路/业务压力可能不一样。具体到个别参数需要区别对待。

二 具体实践

从整体系统的角度,我们要考虑几个点 ,数据库连接数配置多少合适针对空闲连接网络异常的超时时间如何高效复用连接,druid 版本选择这几个方面来介绍。

2.1 如何设置连接池大小

合适的连接池大小和业务请求的 QPS 和 单个请求的 RT(单位为毫秒)。
基本公式:

连接数 = QPS /(1000/RT) + N = QPS * RT /1000 + N

注意: 此处 QPS 和 RT 为单个应用端统计。假定随连接数量增加,客户端能处理的请求数线性增加。

举个例子

比如 一个请求的耗时rt=2ms,每个连接能处理的请求数量 S = 1000/2 =500 ,业务层总请求量是 M=5000 ,那么合理的连接数为 M/S=5000/500=10 为了避免连接数被占满,我们会在上面的连接数的基础上再加上N ,最终的连接数为10+N .

统计平时的最大 QPS 和此时的 RT,以此计算 minIdle,并设置 initialSize = minIdle。

统计峰值时的 QPS 和此时的 RT,以此计算 maxActive。

可以通过以下方法,通过 jmx 观察 Druid 实际的连接池状况,重点关注 ActiveCount:活动连接数,PoolingCount:池子中的连接数。并根据实际情况考虑调整。

java -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+TieredCompilation -XX:TieredStopAtLevel=1 -Xverify:none -client -jar /PATH/cmdline-jmxclient-0.10.3.jar - 127.0.0.1:7777 'com.alibaba.druid:type=DruidDataSourceStat' DataSourceList |& grep -E 'ActiveCount|PoolingCount'

2.2 如何设置超时时间

连接池中的超时时间主要有:

connectTimeout 建立 TCP 连接的超时时间

maxWait 从连接池获取连接的最长等待时间

socketTimeout 发送请求后等待响应的超时时间

其中,
connectTimeout 建议不要小于 1200ms。TCP 在建立连接时,SYN 包的超时重传时间为 1s。connectTimeout 设置过短,很可能造成应用发布时,初始化连接池过程中由于网络抖动,或中间网络设备需要初始化状态发生丢包触发超时,从而造成连接池初始化失败而导致发布失败。

socketTimeout 可以根据应用最长的查询返回时间设置。过长会造成生网络问题,或数据库服务有问题时雪崩;过短也会造成频繁请求超时。不要短于 300ms。TCP 的最小 RTO 为 200ms,并根据延迟动态调整。过短的超时时间会造成单个丢包就造成请求超时。生产环境数据库都配置有 SQL Killer,会自动杀死执行时间过长的请求。因此,设置过长的 socketTimeout 也是没有意义的。

maxWait 可以根据应用期待的等待时间设置。为避免在发生网络问题,或数据库服务有问题时雪崩,这个时间设置不要过大。下面的默认值 800ms 是个保守的设置。应用可以设置一个更短的时间,如 300ms。过短的时间也会造成在连接池中连接数不足,需要新建连接时造成大量超时。建议不要低于 100ms。

2.3 如何设置连接保持时间

设置连接保持活跃的时间需要考虑是直连还是通过数据库中间件proxy连接。一般现在的生产环境大多为:

App -> LVS -> Proxy -> DB

其中应用到 RDS 的访问路径为 App -> LVS -> Proxy 。

其中,LVS 空闲连接保留时间为 90s。Proxy 为了避免访问到已被关闭的连接,自身的空闲连接保留时间为 [70, 85) s。因此,应用程序为了避免从连接池获取到已被关闭的连接,应当设置自身保留空闲连接时间不能超过70s。打开KeepAlive之后的效果

初始化连接池时会填充到minIdle数量。

连接池中的minIdle数量以内的连接,空闲时间超过

minEvictableIdleTimeMillis,则会执行keepAlive操作。

当网络断开等原因产生的由ExceptionSorter检测出来的死连接被清除后,自动补充连接到minIdle数量。

timeBetweenEvictionRunsMillis=10000, minEvictableIdleTimeMillis=44000, maxEvictableIdleTimeMillis=55000。

2.4 必选配置项

以下默认配置可以根据实际情况调整。

<bean id="cartDataSource" class="com.alibaba.druid.pool.DruidDataSource"init-method="init" destroy-method="close"><property name="url" value="${cluster.jdbc.url}"/><property name="username" value="${cluster.jdbc.username}"/><property name="password" value="${cluster.jdbc.password}"/><property name="connectionInitSqls" value="set names utf8mb4"/><!-- 连接池初始连接数 --><property name="initialSize" value="5" /><!-- 允许的最大同时使用中(在被业务线程持有,还没有归还给druid) 的连接数 --><property name="maxActive" value="20" /><!-- 允许的最小空闲连接数,空闲连接超时踢除过程会最少保留的连接数 --><property name="minIdle" value="5" /><!-- 从连接池获取连接的最大等待时间 800毫秒;业务方根据可以自行调整--><property name="maxWait" value="800" /><!-- 一条物理连接的最大存活时间 120分钟--><property name="phyTimeoutMillis" value="7200000"/><!-- 强行关闭从连接池获取而长时间未归还给druid的连接(认为异常连接)--><property name="removeAbandoned" value="true"/><!-- 异常连接判断条件,超过180 秒 则认为是异常的,需要强行关闭 --><property name="removeAbandonedTimeout" value="180"/><!-- 从连接池获取到连接后,如果超过被空闲剔除周期,是否做一次连接有效性检查 --><property name="testWhileIdle" value="true"/><!-- 从连接池获取连接后,是否马上执行一次检查 --><property name="testOnBorrow" value="false"/><!-- 归还连接到连接池时是否马上做一次检查 --><property name="testOnReturn" value="false"/><!-- 连接有效性检查的SQL --><property name="validationQuery" value="SELECT 1"/><!-- 连接有效性检查的超时时间 1 秒 --><property name="validationQueryTimeout" value="1"/><!-- 周期性剔除长时间呆在池子里未被使用的空闲连接, 10秒一次--><property name="timeBetweenEvictionRunsMillis" value="10000"/><!-- 空闲多久可以认为是空闲太长而需要剔除 44 秒--><property name="minEvictableIdleTimeMillis" value="44000"/><!-- 如果空闲时间太长即使连接池所剩连接 < minIdle 也会被剔除 55 秒 --><property name="maxEvictableIdleTimeMillis" value="55000"/><!-- 是否设置自动提交,相当于每个语句一个事务 --><property name="defaultAutoCommit" value="true"/><!-- 记录被判定为异常的连接 --><property name="logAbandoned" value="true"/><!-- 网络读取超时,网络连接超时socketTimeout : 对于线上业务小于5s,对于BI等执行时间较长的业务的SQL,需要设置大一点--><property name="connectionProperties" value="socketTimeout=3000;connectTimeout=1200"/><property name="proxyFilters"><list><ref bean="log-filter"/></list></property>
</bean>

1.0.28版本之后,新加入keepAlive配置,缺省关闭。使用keepAlive功能,建议使用1.1.16或者更高版本。一般业务无需打开,除非分钟请求量在个位数或者启动时间超长导致初始连接都过期。

2.5 druid版本

建议使用最新版本,不要使用太老的版本,以免遇到 bug。

e.g. Maven 配置:

  <dependency><groupId>com.alibaba</groupId><artifactId>druid</artifactId><version>1.0.27</version></dependency>

三 小结

本文算是 的一个补充,希望对需要关注数据库连接配置的朋友有所帮助。


本公众号长期关注于数据库技术以及性能优化,故障案例分析,数据库运维技术知识分享,个人成长和自我管理等主题,欢迎扫码关注。

转载于:https://www.cnblogs.com/yangyi402/p/11607439.html

数据库连接配置策略和实践相关推荐

  1. WebLogic域配置策略

    WebLogic域配置策略--手动和模板选项,第一部分 域含有BEA WebLogic Server实例的配置信息.它包含有关服务器.集群和机器的配置信息.域还含有关于资源,例如Java数据库连接(J ...

  2. Spring事务——Spring 2.X的事务配置策略

    为什么80%的码农都做不了架构师?>>>    Spring 2.X的事务配置策略 虽然前面介绍的TransactionProxyFactoryBean配置策略简单易懂,但配置起来极 ...

  3. db2 参数标识符使用无效_在Python应用程序中使用配置的最佳实践

    大多数计算机应用程序都可以使用配置来指定行为,无论是通过命令行标志.环境变量还是配置文件.作为一名软件开发人员,处理配置时会遇到一些挑战,例如解析不合法的输入.验证它以及在程序的任意位置访问它.以Py ...

  4. vue each_Vue 应用单元测试的策略与实践 05 - 测试奖杯策略

    本文首发于 Vue 应用单元测试的策略与实践 05 - 测试奖杯策略 | 吕立青的博客 欢迎关注知乎专栏 -- 前端的逆袭(凡可 JavaScript,终将 JavaScript.) 欢迎关注我的博客 ...

  5. KCL:声明式的云原生配置策略语言

    楔子: 以蚂蚁集团典型的建站场景为例,在接入 Kusion 后,用户侧配置代码减少到 5.5%,用户面对的 4 个平台通过接入统一代码库而消减,在无其他异常的情况下交付时间从 2 天下降到 2 小时- ...

  6. 数据库连接配置tomcat_Tomcat到Wildfly:配置数据库连接

    数据库连接配置tomcat 该摘录摘自< 从Tomcat到WildFly >一书,您将在其中学习如何将现有的Tomcat体系结构移植到WildFly,包括服务器配置和在其顶部运行的应用程序 ...

  7. 组策略最佳实践之“降龙十八掌”

    组策略最佳实践之"降龙十八掌"<?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:o ...

  8. KCL:蚂蚁自研的配置策略语言

    楔子: 以蚂蚁集团典型的建站场景为例,在接入 Kusion 后,用户侧配置代码减少到 5.5%,用户面对的 4 个平台通过接入统一代码库而消减,在无其他异常的情况下交付时间从 2 天下降到 2 小时- ...

  9. Site-to-Site VPN配置和调试实践:构建安全的远程网络连接

    Site-to-Site VPN配置和调试实践:构建安全的远程网络连接 [实验目的] 理解Site to Site VPN的含义. 掌握Site to Site VPN的含义. 验证配置. [实验拓扑 ...

最新文章

  1. 最强骨干网 ResNeSt 助力语义分割,ADE20K 全新 SOTA 47.6%
  2. Java---- 静态内部类与非静态内部类的区别
  3. javascript转换金额格式
  4. 【十五分钟Talkshow】工作流及工作流框架、服务
  5. 关键帧 关于decode_one_frame函数
  6. Redhat与ubuntu配置网卡
  7. oracle存储过程入门之hello world
  8. 数据库decimal对应java什么类型_mysql decimal(10,2)对应java类型
  9. java远程执行bat命令
  10. c语言中32位整数用谁标识,int占几个字节
  11. 计算机组成原理慕课第六章答案,计算机组成原理单元答案2020MOOC
  12. 为什么手机网速太慢_为什么苹果手机的网速变慢了_苹果手机上网速度慢的解决方法-系统城...
  13. 永远的《毕业生》之《Scarborough Fair》
  14. 树莓派连接天猫精灵音箱通过蓝牙播放音乐的方法
  15. 短视频剪辑怎么自学?短视频剪辑的教程分享
  16. Java中遍历Map集合的5种方式总结
  17. 超全面!用户生命周期分析攻略
  18. 【FreeSwitch开发实践】外呼网关配置(拨打电话)
  19. Linux_终端命令大全
  20. Excel VBA(09)类模块和数据库操作

热门文章

  1. spring cloud微服务分布式云架构(四)-断路器(Hystrix)
  2. springCloud分布式事务实战(三)分布式事务处理器的编译和运行之注册中心编写与测试...
  3. 图片自动播放和动态添加
  4. 全新 Win 9 概念 界面漂亮极了
  5. Android Weekly Notes Issue #225
  6. sqlite 修改表名,合并数据库(文件)
  7. 创业者说:我从创业者大会看到了什么
  8. 利用Java生成静态HMTL页面的方法收集
  9. Android Volley完全解析(四),带你从源码的角度理解Volley
  10. 浅析WebRtc中视频数据的收集和发送流程