从JDBC到数据库连接池

文章目录

基本的JDBC操作方式
基本的JDBC操作在高并发的情况下带来的问题
第三方应该具备条件
连接池的初步设计
C3P0从数据源获取到连接的过程
如何从C3P0获取连接池状态信息

基本的JDBC操作方式

为了屏蔽掉连接各种数据库的底层细节，jdk提出了JDBC规范。数据库厂商则需要实现JDBC规范中的某些接口。这些实现则统称为XXX数据库驱动，比如我们常见的Mysql驱动com.mysql.jdbc.Driver。
使用JDBC调用数据库分为如下几步：

加载相关数据库驱动
获取与数据库的连接
执行SQL语句
关闭数据库连接

其对应的代码如下

            Class.forName(driver);   //记载数据库驱动conn = DriverManager.getConnection(url,username,password);    //获取与数据库的连接Long t1 = System.currentTimeMillis();System.out.println("获取连接用时："+(t1-Time)+"毫秒");ps = conn.prepareStatement(sql);    rs = ps.executeQuery();    //  执行SQL语句Long t2 = System.currentTimeMillis();System.out.println("执行SQL语句用时："+(t2-t1)+"毫秒");

其执行结果如下：

我们发现在整个过程中，获取与数据库的连接>>执行SQL语句。

这是由于JDBC连接是建立在TCP协议上的。每次获取到一条连接，其实是一条TCP连接。而TCP建立需要通过三次握手协议等一系列的操作来完成。因此，获取数据库连接的时间远大于SQL语句执行的时间。

基本的JDBC操作在高并发的情况下带来的问题

基本的JDBC操作在一些简单的情况下没有什么问题，比如课设。但是在并发量稍微增大后，就会变成如下的情况：

在并发量稍微提高后，如标准版登录过程会有十几个对API的请求。在这样的情况下，如果使用基本的JDBC操作，在当上一次请求还在获取JDBC的连接时，下一个请求就会到来。这样的话对CPU，内存等硬件资源消耗极大，从而导致性能下降。

总而言之，基本的JDBC操作在高并发的情况下带来下面问题：

每次操作数据库都需要加载驱动、获取连接等等，代码十分繁琐。（编码方式上）
建立连接的时间要远大于执行sql语句的时间。程序大量的时间都浪费在建立连接上了。
每个请求都是交由一个线程来执行。在高并发的情况下，会伴随着大量的线程等待获取数据库连接请求。

这些问题的根源在与每次对数据库进行操作都需要重新建立一条新的连接，使用完成后再关闭连接。整个过程消耗了大量的资源。

第三方应该具备条件

针对上面的问题，这时自然而然会有一个想法：能不能每次执行完对数据库的操作，不关闭这些连接，而是把它交给一个第三方。等到下次想操作数据库时，再从这个第三方获取这些连接，这样就避免了每次需要建立连接和关闭连接的时间开销。

继续深入思考，这个第三方工具会有如下基本功能：

这个第三方应该能管理程序对数据库的连接。每次程序需要执行数据库操作的时候，都从这个第三方取出连接。执行完成后，就将连接还给这个第三方。
基于有穷性原则，这个第三方管理的连接数应该有一个上限。
为了应对突然而来的大量请求，这个第三方应该在应用程序初始化和空闲的时候管理一些空闲的连接。

这个第三方就是我们常说的数据库连接池。这里设计模式叫资源池。

池化技术能够减少资源对象的创建次数，提高程序的性能，特别是在高并发下这种提高更加明显。
使用池化技术缓存的资源对象有如下共同特点：
1，对象创建时间长；
2，对象创建需要大量资源；
3，对象创建后可被重复使用。

连接池的初步设计

对于一个连接池，最基本会有一个资源池，里面存放着与数据库的连接。基于上面所讲，这个连接应该是对java.sql.Connection的封装，里面应该会有一个标志位来代表这个Connection是否被占用。然后会有一个数据源管理类来管理这个连接池。同时应该有一个配置文件来初始化该连接池。

C3P0从数据源获取到连接的过程

从我们最熟悉的代码开始com.mchange.v2.c3p0.ComboPooledDataSource是C3P0提供给我们的数据源实现类。
这个可以从我们配置的Bean中可以看出。

    <bean id="dataSource" class="com.mchange.v2.c3p0.ComboPooledDataSource" destroy-method="close"><property name="driverClass" value="${driverClass}"></property><property name="jdbcUrl" value="${jdbcUrl}"></property><property name="user" value="${en_username}"></property><property name="password" value="${en_password}"></property><property name="maxPoolSize" value="${maxPoolSize}"></property><property name="minPoolSize" value="${minPoolSize}"></property><property name="initialPoolSize" value="${initialPoolSize}"></property><property name="maxIdleTime" value="${maxIdleTime}"></property><property name="acquireIncrement" value="${acquireIncrement}"></property><property name="maxStatements" value="${maxStatements}0"></property><property name="idleConnectionTestPeriod" value="${idleConnectionTestPeriod}"></property><!--定义在从数据库获取新连接失败后重复尝试的次数。Default: 30 --><property name="acquireRetryAttempts" value="30" /><property name="testConnectionOnCheckin" value="false"/><property name="testConnectionOnCheckout" value="true"/><property name="automaticTestTable" value="C3POTestTable"/><property name="preferredTestQuery" value="SELECT 1"/></bean>

再从程序如何从数据源中获取连接进入
下面代码是AbstractPoolBackedDataSource类中的getConnection方法

public Connection getConnection() throws SQLException
{//获取1.C3P0PooledConnectionPoolManager//获取2.C3P0PooledConnectionPool// 获取3.PooledConnectionPooledConnection pc = getPoolManager().getPool().checkoutPooledConnection();//从PooledConnection中获取我们的要用的Connectionreturn pc.getConnection();
}

下面的代码是C3P0PooledConnectionPool中的checkoutPooledConnection()方法代码细节

    public PooledConnection checkoutPooledConnection() throws SQLException{ //从rp中获取PooledConnectiontry { return (PooledConnection) rp.checkoutResource( checkoutTimeout ); }catch (TimeoutException e){ throw SqlUtils.toSQLException("An attempt by a client to checkout a Connection has timed out.", e); }catch (CannotAcquireResourceException e){ throw SqlUtils.toSQLException("Connections could not be acquired from the underlying database!", "08001", e); }catch (Exception e){ throw SqlUtils.toSQLException(e); }}

获取连接资源

    public Object checkoutResource( long timeout )throws TimeoutException, ResourcePoolException, InterruptedException{//获取资源Object resc = prelimCheckoutResource( timeout );if (resc == null)return checkoutResource( timeout );elsereturn resc;}

    private synchronized Object prelimCheckoutResource( long timeout )throws TimeoutException, ResourcePoolException, InterruptedException{try{ensureNotBroken();int available = unused.size();if (available == 0){int msz = managed.size();if (msz < max){// to cover all the load, we need the current size, plus those waiting already for acquisition, // plus the current client int desired_target = msz + acquireWaiters.size() + 1;if (logger.isLoggable(MLevel.FINER))logger.log(MLevel.FINER, "acquire test -- pool size: " + msz + "; target_pool_size: " + target_pool_size + "; desired target? " + desired_target);if (desired_target >= target_pool_size){//make sure we don't grab less than inc Connections at a time, if we can help it.desired_target = Math.max(desired_target, target_pool_size + inc);//make sure our target is within its boundstarget_pool_size = Math.max( Math.min( max, desired_target ), min );_recheckResizePool();}}else{if (logger.isLoggable(MLevel.FINER))logger.log(MLevel.FINER, "acquire test -- pool is already maxed out. [managed: " + msz + "; max: " + max + "]");}awaitAvailable(timeout); //throws timeout exception}Object  resc = unused.get(0);}

最终定位到三个变量managed，unused，excluded。

    /*  keys are all valid, managed resources, value is a PunchCard */ HashMap  managed = new HashMap();/* all valid, managed resources currently available for checkout */LinkedList unused = new LinkedList();/* resources which have been invalidated somehow, but which are *//* still checked out and in use.                                */HashSet  excluded = new HashSet();

在BasicResourcePool下面，管理着三个变量managed、unused和excluded，他们别代表着管理着的连接、未使用的连接，和使用中但未被管理的连接。

从数据源ComboPooledDataSource拿到连接池C3P0PooledConnectionPool的过程为
对于连接池C3P0PooledConnectionPool与资源池BasicResourcePool的关系为

如何从C3P0获取连接池状态信息

官方文档提供的查询池状态信息

基于上面对C3P0的了解。查阅AbstractPoolBackedDataSource。发现

对于getNumConnections()来说，其实现代码如下

C3P0PooledConnectionPoolpublic int getNumBusyConnections() throws SQLException{ try {synchronized ( rp )//{ return (rp.getAwaitingCheckinCount() - rp.getExcludedCount()); }}catch ( Exception e ){ //e.printStackTrace();logger.log( MLevel.WARNING, null, e );throw SqlUtils.toSQLException( e );}}

BasicResourcePoolpublic synchronized int getAwaitingCheckinCount(){ return managed.size() - unused.size() + excluded.size(); }

BasicResourcePoolpublic synchronized int getExcludedCount(){ return excluded.size(); }

确认方法如下

方法名	作用
getNumConnections()	池中管理的链接数
getNumBusyConnections()	池中已经在使用的链接数
getNumUnclosedOrphanedConnections()	已经在使用，但是未被连接池管理的连接

未完待续。。。