码迷,mamicode.com
首页 > 数据库 > 详细

阿里巴巴的开源项目Druid(关于数据库连接)

时间:2017-08-30 14:10:47      阅读:299      评论:0      收藏:0      [点我收藏+]

标签:res   prim   system   local   row   body   数据库   views   第一个   

1 配置

和dbcp类似,druid的常用配置项如下

配置缺省值说明
name 配置这个属性的意义在于,如果存在多个数据源,监控的时候
可以通过名字来区分开来。如果没有配置,将会生成一个名字,
格式是:"DataSource-" + System.identityHashCode(this)
jdbcUrl 连接数据库的url,不同数据库不一样。例如:
mysql : jdbc:mysql://10.20.153.104:3306/druid2 
oracle : jdbc:oracle:thin:@10.20.149.85:1521:ocnauto
username 连接数据库的用户名
password 连接数据库的密码。如果你不希望密码直接写在配置文件中,
可以使用ConfigFilter。详细看这里:
https://github.com/alibaba/druid/wiki/%E4%BD%BF%E7%94%A8ConfigFilter
driverClassName根据url自动识别这一项可配可不配,如果不配置druid会根据url自动识别dbType,
然后选择相应的driverClassName
initialSize0初始化时建立物理连接的个数。初始化发生在显示调用init方法,
或者第一次getConnection时
maxActive8最大连接池数量
maxIdle8已经不再使用,配置了也没效果
minIdle 最小连接池数量
maxWait 获取连接时最大等待时间,单位毫秒。配置了maxWait之后,
缺省启用公平锁,并发效率会有所下降,
如果需要可以通过配置useUnfairLock属性为true使用非公平锁。
poolPreparedStatementsfalse是否缓存preparedStatement,也就是PSCache。
PSCache对支持游标的数据库性能提升巨大,比如说oracle。
在mysql5.5以下的版本中没有PSCache功能,建议关闭掉。
5.5及以上版本有PSCache,建议开启。
maxOpenPreparedStatements-1要启用PSCache,必须配置大于0,当大于0时,
poolPreparedStatements自动触发修改为true。
在Druid中,不会存在Oracle下PSCache占用内存过多的问题,
可以把这个数值配置大一些,比如说100
validationQuery 用来检测连接是否有效的sql,要求是一个查询语句。
如果validationQuery为null,testOnBorrow、testOnReturn、
testWhileIdle都不会其作用。在mysql中通常为select ‘x‘,在oracle中通常为
select 1 from dual
testOnBorrowtrue申请连接时执行validationQuery检测连接是否有效,
做了这个配置会降低性能。
testOnReturnfalse归还连接时执行validationQuery检测连接是否有效,
做了这个配置会降低性能
testWhileIdlefalse建议配置为true,不影响性能,并且保证安全性。
申请连接的时候检测,如果空闲时间大于
timeBetweenEvictionRunsMillis,
执行validationQuery检测连接是否有效。
timeBetweenEvictionRunsMillis 有两个含义:
1) Destroy线程会检测连接的间隔时间
 2) testWhileIdle的判断依据,详细看testWhileIdle属性的说明
numTestsPerEvictionRun 不再使用,一个DruidDataSource只支持一个EvictionRun
minEvictableIdleTimeMillis Destory线程中如果检测到当前连接的最后活跃时间和当前时间的差值大于
minEvictableIdleTimeMillis,则关闭当前连接。
connectionInitSqls 物理连接初始化的时候执行的sql
exceptionSorter根据dbType自动识别当数据库抛出一些不可恢复的异常时,抛弃连接
filters 属性类型是字符串,通过别名的方式配置扩展插件,
常用的插件有:
监控统计用的filter:stat 
日志用的filter:log4j
 防御sql注入的filter:wall
proxyFilters 类型是List<com.alibaba.druid.filter.Filter>,
如果同时配置了filters和proxyFilters,
是组合关系,并非替换关系
removeAbandoned
对于建立时间超过removeAbandonedTimeout的连接强制关闭
removeAbandonedTimeout
指定连接建立多长时间就需要被强制关闭
logAbandoned
指定发生removeabandoned的时候,是否记录当前线程的堆栈信息到日志中

表1.1 配置属性

表1.1仅仅列出了常用配置属性,完整的属性列表可以参考代码类DruidDataSourceFactory 的ALL_PROPERTIES属性,根据常用的配置属性,首先给出一个如下的配置文件,放置于src目录下。

[plain] view plain copy 
 技术分享技术分享
  1. url:jdbc:mysql://localhost:3306/dragoon_v25_masterdb  
  2. driverClassName:com.mysql.jdbc.Driver  
  3. username:root  
  4. password:aaaaaaaa  
  5.        
  6. filters:stat  
  7.    
  8. maxActive:20  
  9. initialSize:1  
  10. maxWait:60000  
  11. minIdle:10  
  12. #maxIdle:15  
  13.    
  14. timeBetweenEvictionRunsMillis:60000  
  15. minEvictableIdleTimeMillis:300000  
  16.    
  17. validationQuery:SELECT ‘x‘  
  18. testWhileIdle:true  
  19. testOnBorrow:false  
  20. testOnReturn:false  
  21. #poolPreparedStatements:true  
  22. maxOpenPreparedStatements:20  

配置文件1.1 

配置项中指定了各个参数后,在连接池内部是这么使用这些参数的。数据库连接池在初始化的时候会创建initialSize个连接,当有数据库操作时,会从池中取出一个连接。如果当前池中正在使用的连接数等于maxActive,则会等待一段时间,等待其他操作释放掉某一个连接,如果这个等待时间超过了maxWait,则会报错;如果当前正在使用的连接数没有达到maxActive,则判断当前是否空闲连接,如果有则直接使用空闲连接,如果没有则新建立一个连接。在连接使用完毕后,不是将其物理连接关闭,而是将其放入池中等待其他操作复用。

同时连接池内部有机制判断,如果当前的总的连接数少于miniIdle,则会建立新的空闲连接,以保证连接数得到miniIdle。如果当前连接池中某个连接在空闲了timeBetweenEvictionRunsMillis时间后任然没有使用,则被物理性的关闭掉。有些数据库连接的时候有超时限制(MySQL连接在8小时后断开),或者由于网络中断等原因,连接池的连接会出现失效的情况,这时候可以设置一个testWhileIdle参数为true,注意这里的“while”这个单词应该翻译成“如果”,换句话说testWhileIdle写为testIfIdle更好理解些,其含义为连接在获取连接的时候,如果检测到当前连接不活跃的时间超过了timeBetweenEvictionRunsMillis,则去手动检测一下当前连接的有效性,在保证确实有效后才加以使用。在检测活跃性时,如果当前的活跃时间大于minEvictableIdleTimeMillis,则认为需要关闭当前连接。当然,为了保证绝对的可用性,你也可以使用testOnBorrow为true(即在每次获取Connection对象时都检测其可用性),不过这样会影响性能。

最后说一下removeAbandoned参数,其实druid是不能检测到当前使用的连接是否发生了连接泄露,所以在代码内部就假定如果一个连接建立连接的时间很长,则将其认定为泄露,继而强制将其关闭掉。这个参数在druid中默认是不开启的,github上给出的wiki中也对其没有丝毫提及。其实在代码中设置testWhileIdle就能在一定程序上消灭掉泄露的连接,因为如果发生了泄露,那么他的不活跃时间肯定会在某个时间点大于timeBetweenEvictionRunsMillis,继而被回收掉。

2 代码编写

2.1 使用spring

首先给出spring配置文件

[html] view plain copy 
 技术分享技术分享
  1. <?xml version="1.0" encoding="UTF-8"?>  
  2. <beans xmlns="http://www.springframework.org/schema/beans"  
  3.     xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"  
  4.     xsi:schemaLocation="http://www.springframework.org/schema/mvc http://www.springframework.org/schema/mvc/spring-mvc-3.0.xsd  
  5.         http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-3.0.xsd  
  6.         http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context-3.0.xsd">  
  7.     <!-- 给web使用的spring文件 -->  
  8.     <bean id="propertyConfigurer"  
  9.         class="org.springframework.beans.factory.config.PropertyPlaceholderConfigurer">  
  10.         <property name="locations">  
  11.             <list>  
  12.                 <value>/WEB-INF/classes/dbconfig.properties</value>  
  13.             </list>  
  14.         </property>  
  15.     </bean>  
  16.     <bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource"  
  17.         destroy-method="close">  
  18.         <property name="url" value="${url}" />  
  19.         <property name="username" value="${username}" />  
  20.         <property name="password" value="${password}" />  
  21.         <property name="driverClassName" value="${driverClassName}" />  
  22.         <property name="filters" value="${filters}" />  
  23.   
  24.         <property name="maxActive" value="${maxActive}" />  
  25.         <property name="initialSize" value="${initialSize}" />  
  26.         <property name="maxWait" value="${maxWait}" />  
  27.         <property name="minIdle" value="${minIdle}" />  
  28.   
  29.         <property name="timeBetweenEvictionRunsMillis" value="${timeBetweenEvictionRunsMillis}" />  
  30.         <property name="minEvictableIdleTimeMillis" value="${minEvictableIdleTimeMillis}" />  
  31.   
  32.         <property name="validationQuery" value="${validationQuery}" />  
  33.         <property name="testWhileIdle" value="${testWhileIdle}" />  
  34.         <property name="testOnBorrow" value="${testOnBorrow}" />  
  35.         <property name="testOnReturn" value="${testOnReturn}" />  
  36.         <property name="maxOpenPreparedStatements"  
  37.             value="${maxOpenPreparedStatements}" />  
  38.         <property name="removeAbandoned" value="${removeAbandoned}" /> <!-- 打开removeAbandoned功能 -->  
  39.         <property name="removeAbandonedTimeout" value="${removeAbandonedTimeout}" /> <!-- 1800秒,也就是30分钟 -->  
  40.         <property name="logAbandoned" value="${logAbandoned}" /> <!-- 关闭abanded连接时输出错误日志 -->  
  41.     </bean>  
  42.       
  43.     <bean id="dataSourceDbcp" class="org.apache.commons.dbcp.BasicDataSource"  
  44.         destroy-method="close">  
  45.   
  46.         <property name="driverClassName" value="${driverClassName}" />  
  47.         <property name="url" value="${url}" />  
  48.         <property name="username" value="${username}" />  
  49.         <property name="password" value="${password}" />  
  50.           
  51.         <property name="maxActive" value="${maxActive}" />  
  52.         <property name="minIdle" value="${minIdle}" />  
  53.         <property name="maxWait" value="${maxWait}" />  
  54.         <property name="defaultAutoCommit" value="true" />  
  55.           
  56.         <property name="timeBetweenEvictionRunsMillis" value="${timeBetweenEvictionRunsMillis}" />  
  57.         <property name="minEvictableIdleTimeMillis" value="${minEvictableIdleTimeMillis}" />  
  58.           
  59.         <property name="validationQuery" value="${validationQuery}" />  
  60.         <property name="testWhileIdle" value="${testWhileIdle}" />  
  61.         <property name="testOnBorrow" value="${testOnBorrow}" />  
  62.         <property name="testOnReturn" value="${testOnReturn}" />  
  63.         <property name="maxOpenPreparedStatements"  
  64.             value="${maxOpenPreparedStatements}" />  
  65.         <property name="removeAbandoned" value="${removeAbandoned}" />   
  66.         <property name="removeAbandonedTimeout" value="${removeAbandonedTimeout}" />  
  67.         <property name="logAbandoned" value="${logAbandoned}" />  
  68.     </bean>  
  69.   
  70.       
  71.     <!-- jdbcTemplate -->  
  72.     <bean id="jdbc" class="org.springframework.jdbc.core.JdbcTemplate">  
  73.         <property name="dataSource">  
  74.             <ref bean="dataSource" />  
  75.         </property>  
  76.     </bean>  
  77.   
  78.     <bean id="SpringTableOperatorBean" class="com.whyun.druid.model.TableOperator"  
  79.         scope="prototype">  
  80.         <property name="dataSource">  
  81.             <ref bean="dataSource" />  
  82.         </property>  
  83.     </bean>  
  84.       
  85. </beans>  


配置文件2.1

其中第一个bean中给出的配置文件/WEB-INF/classes/dbconfig.properties就是第1节中给出的配置文件。我这里还特地给出dbcp的spring配置项,目的就是将两者进行对比,方便大家进行迁移。这里没有使用JdbcTemplate,所以jdbc那个bean没有使用到。下面给出com.whyun.druid.model.TableOperator类的代码。

[java] view plain copy 
 技术分享技术分享
  1. package com.whyun.druid.model;  
  2.   
  3. import java.sql.Connection;  
  4. import java.sql.PreparedStatement;  
  5. import java.sql.SQLException;  
  6. import java.sql.Statement;  
  7.   
  8. import javax.sql.DataSource;  
  9.   
  10. public class TableOperator {  
  11.     private DataSource dataSource;  
  12.     public void setDataSource(DataSource dataSource) {  
  13.         this.dataSource = dataSource;  
  14.     }  
  15.   
  16.     private static final int COUNT = 800;      
  17.   
  18.     public TableOperator() {  
  19.           
  20.     }  
  21.   
  22.     public void tearDown() throws Exception {  
  23.         try {  
  24.             dropTable();  
  25.         } catch (SQLException e) {  
  26.             e.printStackTrace();  
  27.         }         
  28.     }  
  29.   
  30.     public void insert() throws Exception {  
  31.           
  32.         StringBuffer ddl = new StringBuffer();  
  33.         ddl.append("INSERT INTO t_big (");  
  34.         for (int i = 0; i < COUNT; ++i) {  
  35.             if (i != 0) {  
  36.                 ddl.append(", ");  
  37.             }  
  38.             ddl.append("F" + i);  
  39.         }  
  40.         ddl.append(") VALUES (");  
  41.         for (int i = 0; i < COUNT; ++i) {  
  42.             if (i != 0) {  
  43.                 ddl.append(", ");  
  44.             }  
  45.             ddl.append("?");  
  46.         }  
  47.         ddl.append(")");  
  48.   
  49.         Connection conn = dataSource.getConnection();  
  50.   
  51. //        System.out.println(ddl.toString());  
  52.   
  53.         PreparedStatement stmt = conn.prepareStatement(ddl.toString());  
  54.   
  55.         for (int i = 0; i < COUNT; ++i) {  
  56.             stmt.setInt(i + 1, i);  
  57.         }  
  58.         stmt.execute();  
  59.         stmt.close();  
  60.   
  61.         conn.close();  
  62.     }  
  63.   
  64.     private void dropTable() throws SQLException {  
  65.   
  66.         Connection conn = dataSource.getConnection();  
  67.   
  68.         Statement stmt = conn.createStatement();  
  69.         stmt.execute("DROP TABLE t_big");  
  70.         stmt.close();  
  71.   
  72.         conn.close();  
  73.     }  
  74.   
  75.     public void createTable() throws SQLException {  
  76.         StringBuffer ddl = new StringBuffer();  
  77.         ddl.append("CREATE TABLE t_big (FID INT AUTO_INCREMENT PRIMARY KEY ");  
  78.         for (int i = 0; i < COUNT; ++i) {  
  79.             ddl.append(", ");  
  80.             ddl.append("F" + i);  
  81.             ddl.append(" BIGINT NULL");  
  82.         }  
  83.         ddl.append(")");  
  84.   
  85.         Connection conn = dataSource.getConnection();  
  86.   
  87.         Statement stmt = conn.createStatement();  
  88.         stmt.execute(ddl.toString());  
  89.         stmt.close();  
  90.   
  91.         conn.close();  
  92.     }  
  93. }  

代码片段2.1

注意:在使用的时候,通过获取完Connection对象,在使用完之后,要将其close掉,这样其实是将用完的连接放入到连接池中,如果你不close的话,会造成连接泄露。

阿里巴巴的开源项目Druid(关于数据库连接)

标签:res   prim   system   local   row   body   数据库   views   第一个   

原文地址:http://www.cnblogs.com/zhangboyu/p/7452618.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!