数据的批量插入

标签：数据的批量处理

让我们看看如何使用JDBC API在Java中执行批量插入。虽然你可能已经知道，但我会尽力解释基础到复杂的场景。

在此笔记里，我们将看到我们如何可以使用像Statement和PreparedStatement JDBC API来批量在任何数据库中插入数据。此外，我们将努力探索一些场景，如在内存不足时正常运行，以及如何优化批量操作。

首先，使用Java JDBC基本的API批量插入数据到数据库中。

Simple Batch - 简单批处理

我把它叫做简单批处理。要求很简单，执行批量插入列表，而不是为每个INSERT语句每次提交数据库，我们将使用JDBC批处理操作和优化性能。

想想一下下面的代码：

Bad Code

[java] String [] queries = {        insert into employee (name, city, phone) values (‘A‘, ‘X‘, ‘123‘),        insert into employee (name, city, phone) values (‘B‘, ‘Y‘, ‘234‘),        insert into employee (name, city, phone) values (‘C‘, ‘Z‘, ‘345‘),    };    Connection connection = new getConnection();    Statement statemenet = connection.createStatement();    for (String query : queries) {        statemenet.execute(query);    }    statemenet.close();    connection.close(); [/java]

这是糟糕的代码。它单独执行每个查询，每个INSERT语句的都提交一次数据库。考虑一下，如果你要插入1000条记录呢？这是不是一个好主意。

?

下面是执行批量插入的基本代码。来看看：

Good Code

[java]    Connection connection = new getConnection();    Statement statemenet = connection.createStatement();    for (String query : queries) {        statemenet.addBatch(query);    }    statemenet.executeBatch();    statemenet.close();    connection.close(); [/java]

请注意我们如何使用addBatch（）方法，而不是直接执行查询。然后，加入所有的查询，我们使用statement.executeBatch（）方法一次执行他们。没有什么花哨，只是一个简单的批量插入。

?

请注意，我们已经从一个String数组构建了查询。现在，你可能会想，使其动态化。例如：

[java]   import java.sql.Connection;   import java.sql.Statement;   //...   Connection connection = new getConnection();   Statement statemenet = connection.createStatement();   for (Employee employee: employees) {       String query = "insert into employee (name, city) values(‘               + employee.getName() + ‘,‘ + employee.getCity + ‘);       statemenet.addBatch(query);   }   statemenet.executeBatch();   statemenet.close();   connection.close();  [/java]

请注意我们是如何从Employee对象中的数据动态创建查询并在批处理中添加，插入一气呵成。完美！是不是？

等等......你必须思考什么关于SQL注入？这样动态创建的查询SQL注入是很容易的。并且每个插入查询每次都被编译。

?

为什么不使用PreparedStatement而不是简单的声明。是的，这是个解决方案。下面是SQL注入安全批处理。

SQL Injection Safe Batch - SQL注入安全批处理

思考一下下面代码:

[java] import java.sql.Connection;   import java.sql.PreparedStatement;    //...    String sql = "insert into employee (name, city, phone) values (?, ?, ?);;   Connection connection = new getConnection();   PreparedStatement ps = connection.prepareStatement(sql);   for (Employee employee: employees) {       ps.setString(1, employee.getName());      ps.setString(2, employee.getCity());      ps.setString(3, employee.getPhone());      ps.addBatch();  }  ps.executeBatch();  ps.close();  connection.close();[/java]

?

看看上面的代码。漂亮。我们使用的java.sql.PreparedStatement和在批处理中添加INSERT查询。这是你必须实现批量插入逻辑的解决方案，而不是上述Statement那个。

这一解决方案仍然存在一个问题。考虑这样一个场景，在您想要插入到数据库使用批处理半万条记录。嗯，可能产生的OutOfMemoryError：

[java] java.lang.OutOfMemoryError: Java heap space      com.mysql.jdbc.ServerPreparedStatement$BatchedBindValues.<init>(ServerPreparedStatement.java:72)      com.mysql.jdbc.ServerPreparedStatement.addBatch(ServerPreparedStatement.java:330)      org.apache.commons.dbcp.DelegatingPreparedStatement.addBatch(DelegatingPreparedStatement.java:171)[/java]

?

这是因为你试图在一个批次添加所有语句，并一次插入。最好的办法是将执行分批次。看看下面的解决方案

Smart Insert: Batch within Batch - 智能插入：将整批分批

这是一个简单的解决方案。考虑批量大小为1000，每1000个查询语句为一批插入提交。

[java] String sql = "insert into employee (name, city, phone) values (?, ?, ?);   Connection connection = new getConnection();   PreparedStatement ps = connection.prepareStatement(sql);       final int batchSize = 1000;   int count = 0;       for (Employee employee: employees) {           ps.setString(1, employee.getName());       ps.setString(2, employee.getCity());       ps.setString(3, employee.getPhone());      ps.addBatch();         if(++count % batchSize == 0) {          ps.executeBatch();      }  }  ps.executeBatch(); // insert remaining records  ps.close();  connection.close();[/java]

这才是理想的解决方案，它避免了SQL注入和内存不足的问题。看看我们如何递增计数器计数，一旦BATCHSIZE 达到 1000，我们调用executeBatch（）提交。

希望对你有帮助。

数据的批量插入

标签：数据的批量处理

原文地址：http://blog.csdn.net/u012942894/article/details/42099517