flume遇到的问题

标签：col   error:   内容   use   code   删除   sep   memory   head   

Caused by: java.lang.IllegalStateException: Unable to add FlumeEventPointer [fileID=25, offset=1000217047]. Queue depth = 100000, Capacity = 100000

原因：checkpoint文件夹，不为空。

解决：设置空的checkpoint文件夹。或删除checkpoint文件夹下的内容。

java.lang.OutOfMemoryError: Java heap space

原因：java堆内存默认20m，数据量大时oom。

解决：

export JAVA_OPTS="-Xms2048m -Xmx2048m -Xss256k -Xmn1g -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:-UseGCOverheadLimit"

并且在flume启动脚本flume-ng中，修改JAVA_OPTS="-Xmx20m"为JAVA_OPTS="-Xmx2048m"
cdh可以直接在cdh manager中设置flume的java堆内存。

flume遇到的问题

标签：col   error:   内容   use   code   删除   sep   memory   head   

原文地址：https://www.cnblogs.com/drjava/p/10471708.html