码迷,mamicode.com
首页 > 其他好文 > 详细

oozie: GC overhead limit exceeded 解决方法

时间:2016-08-03 15:14:26      阅读:456      评论:0      收藏:0      [点我收藏+]

标签:

1.异常表现形式
1)  提示信息
     Error java.lang.OutOfMemoryError: GC overhead limit exceeded
2)提示出错
     Error: Java heap space
     问题产生原因:
 "if too much time is being spent in garbage collection: if more than 98% of the total time is spent in garbage collection and less than 2% of the heap is recovered, an OutOfMemoryError will be thrown."
jvm gc行为中超过98%以上的时间去释放小于2%的堆空间时会报这个错误。
处理方法:
1. 在jvm启动参数中添加 "-XX:-UseGCOverheadLimit",该参数在JDK6中默认启用("-XX:+UseGCOverheadLimit")。
  调整后的生产环境中使用的参数为:   
JAVA_OPTS=‘-Xms512m -Xmx4096m -XX:MaxPermSize=128m -XX:-UseGCOverheadLimit -XX:+UseConcMarkSweepGC‘
2. 检查是否有使用了大量内存的代码或死循环
oozie中的处理方法:
 configuration中添加节点数目
 <configuration>
        <property>
                <name>mapreduce.map.java.opts</name>
                <value>-Djava.net.preferIPv4Stack=true -Xmx12734003200</value>
         </property>
        <property>
                 <name>mapreduce.map.memory.mb</name>
                  <value>10240</value>
         </property>
         <property>
                   <name>mapreduce.reduce.java.opts</name>
                    <value>-Djava.net.preferIPv4Stack=true -Xmx12468006400</value>
                    </property>
          <property>
                    <name>mapreduce.reduce.memory.mb</name>
                    <value>1024</value>
           </property>
            <property>
                    <name>oozie.launcher.mapreduce.map.memory.mb</name>
                     <value>1536</value>
             </property>
              <property>
                      <name>oozie.launcher.mapreduce.map.java.opts</name>
                        <value>-Xmx1536m</value>
                </property>
            </configuration>
注: mapreduce.map.java.opts增加map jvm内存
mapreduce.map.memory.mb map执行内存

oozie: GC overhead limit exceeded 解决方法

标签:

原文地址:http://www.cnblogs.com/yyy-blog/p/5732825.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!