Apache Flume 1.6.0 发布,此版本现已提供下载: http://flume.apache.org/download.html 更新日志和文档: http://flume.apache.org/releases/1.6.0.html Flume 是一个分布式、可靠和高可用的服务,用于收 ...
分类:
Web程序 时间:
2016-09-14 07:10:05
阅读次数:
188
1.flume的安装和配置 1.1 配置java_home,修改/opt/cdh/flume-1.5.0-cdh5.3.6/conf/flume-env.sh文件 1.2 配置hdfs集成 1.2.1添加hdfs的jar包到/opt/cdh/flume-1.5.0-cdh5.3.6/lib目录下 c ...
分类:
Web程序 时间:
2016-09-11 00:02:52
阅读次数:
341
部署flume集群时,在启动collector服务器没报错,启动agent服务器报错:File Channel transaction capacity cannot be greater than the capacity of the channel capacity查了下相关解决办法,将配置文 ...
分类:
Web程序 时间:
2016-09-09 16:36:17
阅读次数:
264
flume内置的ChannelSelector有两种,分别是Replicating和Multiplexing。 Replicating类型的ChannelSelector会针对每一个Event,拷贝到所有的Channel中,这是默认的ChannelSelector。 replicating类型的Ch ...
分类:
Web程序 时间:
2016-09-02 06:31:24
阅读次数:
199
今天开会讨论日志处理为什么要同时使用Flume和Kafka,是否可以只用Kafka 不使用Flume?当时想到的就只用Flume的接口多,不管是输入接口(socket 和 文件)以及输出接口(Kafka/HDFS/HBase等)。 考虑单一应用场景,从简化系统的角度考虑,在满足应用需求的情况下可能只 ...
分类:
Web程序 时间:
2016-09-01 21:18:04
阅读次数:
971
首先Flume和Kafka都是消息系统,但是它俩也有着很多不同的地方,Flume更趋向于消息采集系统,而Kafka更趋向于消息缓存系统。 【一】设计上的不同 Flume是消息采集系统,它主要解决问题是消息的多元采集。因此Flume在实现上提供了多达十几种的Flume Source,以供用户根据不同的 ...
分类:
Web程序 时间:
2016-08-31 22:17:36
阅读次数:
504
在启动Flume的时候,出现下面的异常,但是程序照样能运行,Kafka也能够收到数据,只是偶尔会断点。 2016-08-25 15:32:54,561 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - kafka.utils.Loggin ...
分类:
Web程序 时间:
2016-08-30 20:59:02
阅读次数:
876
前面已经介绍了如何利用Thrift Source生产数据,今天介绍如何用Kafka Sink消费数据。 其实之前已经在Flume配置文件里设置了用Kafka Sink消费数据 那么当Flume的channel收到数据的时候,会根据配置文件主动把数据event发送到Kafka的broker上,所以只要 ...
分类:
Web程序 时间:
2016-08-30 01:45:16
阅读次数:
258
Flume OutOfMemoryError错误 运行Flume没多久就报下面的异常: 2016-08-24 17:35:58,927 (Flume Thrift IPC Thread 8) [ERROR - org.apache.flume.channel.ChannelProcessor.pro ...
分类:
Web程序 时间:
2016-08-27 20:45:31
阅读次数:
401
Flume简介与使用(二)——Thrift Source采集数据 继上一篇安装Flume后,本篇将介绍如何使用Thrift Source采集数据。 Thrift是Google开发的用于跨语言RPC通信,它拥有功能强大的软件堆栈和代码生成引擎,允许定义一个简单的IDL文件来生成不同语言的代码,服务器端 ...
分类:
Web程序 时间:
2016-08-27 19:14:01
阅读次数:
377