码迷,mamicode.com
首页 > 数据库 > 详细

Mybatis拦截器 mysql load data local 内存流处理

时间:2016-05-27 11:03:43      阅读:488      评论:0      收藏:0      [点我收藏+]

标签:

Mybatis 拦截器不做解释了,用过的基本都知道,这里用load data local主要是应对大批量数据的处理,提高性能,也支持事务回滚,且不影响其他的DML操作,当然这个操作不要涉及到当前所load的数据,其中在使用的时候一定要local , 这个命令使用是mysql规定的,否则不加则会认为是服务器本地的文件。这里主要是以流的方式来做处理,这样可以使用内存流,这样就可以避免在某些时候需要生成文件才能导入的多余操作,和IO性能消耗。也可以是应用本地的文件。

注:该做法只试用于存入数据的表,不试用于有频繁更新,查询操作的表。 因为load 命令的优先级比更新命令,及查询命令的优先级低。

mybatis 插件配置

<plugins>
   <plugin interceptor="com.yunat.channel.process.util.LoadDataInterceptor">
       <property name="databaseType" value="mysql"/>
   </plugin>
</plugins>

插入SQL

<select id="saveTest" parameterType="map">
    LOAD DATA LOCAL INFILE ‘sql.csv‘ IGNORE INTO TABLE test (a,b,d)
</select>

插件代码

package com.yunat.channel.process.util;
 
import java.io.InputStream;
import java.sql.Statement;
import java.util.Properties;
 
import org.apache.ibatis.executor.statement.RoutingStatementHandler;
import org.apache.ibatis.executor.statement.StatementHandler;
import org.apache.ibatis.mapping.BoundSql;
import org.apache.ibatis.plugin.Interceptor;
import org.apache.ibatis.plugin.Intercepts;
import org.apache.ibatis.plugin.Invocation;
import org.apache.ibatis.plugin.Plugin;
import org.apache.ibatis.plugin.Signature;
 
@Intercepts({ @Signature(method = "update", type = StatementHandler.class, args = { Statement.class }) })
public class LoadDataInterceptor implements Interceptor {
 
    @Override
    public Object intercept(Invocation invocation) throws Throwable {
        RoutingStatementHandler handler = (RoutingStatementHandler) invocation.getTarget();
        BoundSql boundSql = handler.getBoundSql();
        if (boundSql.getSql().toLowerCase().contains("load data local infile")) {
            Object in = boundSql.getParameterObject();
            if (in != null && in instanceof InputStream) { // 如果不使用流的方式, 则会读取语句中对应在本地的文件
                Statement statement = (Statement) invocation.getArgs()[0];
                if (statement.isWrapperFor(com.mysql.jdbc.Statement.class)) {
                    com.mysql.jdbc.PreparedStatement mysqlStatement = statement.unwrap(com.mysql.jdbc.PreparedStatement.class);
                    // 将流设置到执行语句中,在后续执行过程中,会忽略load data 语句中的文件名,改用当前设置流
                    mysqlStatement.setLocalInfileInputStream((InputStream)in);
                    invocation.getArgs()[0] = mysqlStatement; // 将当前语句执行代理,换成mysql的语句对象,方便下面执行。
                }
            }
        }
        return invocation.proceed();
    }
 
    @Override
    public Object plugin(Object target) {
        return Plugin.wrap(target, this);
    }
 
    @Override
    public void setProperties(Properties properties) {
 
    }
 
}

本文转自:http://www.oschina.net/code/snippet_144320_24440#66175

Mybatis拦截器 mysql load data local 内存流处理

标签:

原文地址:http://www.cnblogs.com/dreammyle/p/5533504.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!