【异常】The channel is full or unexpected failure. The source will try again after 1000 ms

标签：流量   ali   flume   hdfs   source   ann   空间   capacity   没有   

Flume采集的控制台提示：
The channel is full or unexpected failure. The source will try again after 1000 ms

这个是因为当前被采集的文件过大，深层的原因是文件采集的速度和sink的速度没有匹配好。所以应该可以通过增大keep-alive的值解决：
#channel中最多缓存多少
a1.channels.c1.capacity = 5000
#channel一次最多吐给sink多少
a1.channels.c1.transactionCapacity = 2000
#event的活跃时间
a1.channels.c1.keep-alive = 10

或者写到HDFS使用压缩，可以通过压缩来节省空间和网络流量，但是会增加cpu的消耗。

【异常】The channel is full or unexpected failure. The source will try again after 1000 ms

标签：流量   ali   flume   hdfs   source   ann   空间   capacity   没有   

原文地址：https://www.cnblogs.com/huomei/p/12113223.html