本文基于ThriftSource,MemoryChannel,HdfsSink三个组件，对Flume数据传输的事务进行分析，如果使用的是其他组件，Flume事务具体的处理方式将会不同。一般情况下，用MemoryChannel就好了，我们公司用的就是这个，FileChannel速度慢，虽然提供日志级别...
分类：
Web程序 时间：
2015-04-01 17:21:22
阅读次数：
194
上一篇说了HDFSEventSink的实现，这里根据hdfssink的配置和调用分析来看下sink中整个hdfs数据写入的过程：线上hdfssink的几个重要设置hdfs.path=hdfs://xxxxx/%{logtypename}/%Y%m%d/%H：
hdfs.rollInterval=60
hdfs.rollSize=0//想让文件只根据实际来roll
hdfs.rollCount=0
hd..
分类：
其他好文 时间：
2015-03-08 01:32:45
阅读次数：
4543
Flume数据传输事务分析
本文基于ThriftSource,MemoryChannel,HdfsSink三个组件，对Flume数据传输的事务进行分析，如果使用的是其他组件，Flume事务具体的处理方式将会不同。一般情况下，用MemoryChannel就好了，我们公司用的就是这个，FileChannel速度慢，虽然提供日志级别的数据恢复，但是一般情况下，不断电MemoryChannel是不会...
分类：
其他好文 时间：
2014-09-30 17:11:59
阅读次数：
187
