标签：jdbc mysql java.lang.outofmemor java heap space
问题描述：
在项目中需要连接mysql，查询上千上万的记录，每个字段都挺大。结果在Eclipse中报如下错误：
java.lang.OutOfMemoryError: Java heap space
原因分析：
mysql会将查询到的记录全部发送到java端保存，而JVM中如果98%的时间是用于GC,且可用的Heap size 不足2%的时候将抛出此异常信息。JVM堆的设置是指java程序运行过程中JVM可以调配使用的内存空间的设置.JVM在启动的时候会自动设置Heap size的值，其初始空间(即-Xms)是物理内存的1/64，最大空间(-Xmx)是物理内存的1/4。可以利用JVM提供的-Xmn -Xms -Xmx等选项可进行设置。
解决方案记录如下：
方案一：
eclipse 有启动参数里设置jvm大小，因为eclipse运行时自己也需要jvm,所以eclipse.ini里设置的jvm大小不是具体某个程序运行时所用jvm的大小，这和具体程序运行的jvm大小无关。
那么怎么才能设置某个程序的jvm大小呢？
（当然控制台运行的话不会存在这个问题，如：java -Xms256m -Xmx1024m classname，这样就可以把当前程序的jvm大小给设定）
因为eclipse里默认的一个程序的jvm配置为：-Xms8m -Xmx128m，所以我们的处理耗内存比较大时需要手动调整一下，以便不会内存溢出。
具体的设置方法为：
选中被运行的类，点击菜单‘run->run configurations’，选择(x)=Argument标签页下的vm arguments框里输入
-Xms128m-Xmx512m（根据你物理内存的大小调整）, 保存运行就ok了
方案二:
这个问题的根源是jvm虚拟机的默认Heap大小是64M,可以通过设置其最大和最小值来实现.设置的方法主要是几个.
1.可以在windows 更改系统环境变量加上JAVA_OPTS=-Xms64m -Xmx512m
2.如果用的tomcat,在windows下,可以在C:\tomcat5.5.9\bin\catalina.bat 中加上:
set JAVA_OPTS=-Xms64m -Xmx256m
位置在: rem Guess CATALINA_HOME if not defined 这行的下面加合适.
3.如果是linux系统
Linux 在{tomcat_home}/bin/catalina.sh的前面，加
set JAVA_OPTS=‘-Xms64 -Xmx512‘
方案三（通用性强）：
采用PreparedStatement：
1、当PreparedStatement设置以下属性时，采用的是流数据接收方式，每次只从服务器接收部分数据，直到所有数据处理完毕，不会发生JVM OOM。
setResultSetType(ResultSet.TYPE_FORWARD_ONLY);
setFetchSize(Integer.MIN_VALUE);
2、调用statement的enableStreamingResults方法，实际上enableStreamingResults方法内部封装的就是第1种方式。
3、设置连接属性useCursorFetch=true (5.0版驱动开始支持)，statement以TYPE_FORWARD_ONLY打开，再设置fetch size参数，表示采用服务器端游标，每次从服务器取fetch_size条数据。
package com.seven.dbTools.DBTools;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.ArrayList;
public class JdbcHandleMySQLBigResultSet {
public static long importData(String sql){
String url = "jdbc:mysql://ipaddress:3306/test?user=username&password=password";
try {
Class.forName("com.mysql.jdbc.Driver");
} catch (ClassNotFoundException e1) {
e1.printStackTrace();
}
long allStart = System.currentTimeMillis();
long count =0;
Connection con = null;
PreparedStatement ps = null;
Statement st = null;
ResultSet rs = null;
try {
con = DriverManager.getConnection(url);
ps = (PreparedStatement) con.prepareStatement(sql,ResultSet.TYPE_FORWARD_ONLY,
ResultSet.CONCUR_READ_ONLY);
ps.setFetchSize(Integer.MIN_VALUE);
ps.setFetchDirection(ResultSet.FETCH_REVERSE);
rs = ps.executeQuery();
while (rs.next()) {
//此处处理业务逻辑
count++;
if(count%600000==0){
System.out.println(" 写入到第 "+(count/600000)+" 个文件中！");
long end = System.currentTimeMillis();
}
}
System.out.println("取回数据量为 "+count+" 行！");
} catch (SQLException e) {
e.printStackTrace();
} finally {
try {
if(rs!=null){
rs.close();
}
} catch (SQLException e) {
e.printStackTrace();
}
try {
if(ps!=null){
ps.close();
}
} catch (SQLException e) {
e.printStackTrace();
}
try {
if(con!=null){
con.close();
}
} catch (SQLException e) {
e.printStackTrace();
}
}
return count;
}
public static void main(String[] args) throws InterruptedException {
String sql = "select * from test.bigTable ";
importData(sql);
}
}
JDBC连接mysql，查大数据集报：java.lang.OutOfMemoryError: Java heap space
标签：jdbc mysql java.lang.outofmemor java heap space
原文地址：http://blog.csdn.net/hwwn2009/article/details/42423039
