#source的名字 agent.sources = kafkaSource # channels的名字，建议按照type来命名 agent.channels = memoryChannel # sink的名字，建议按照目标来命名 agent.sinks = hdfsSink # 指定source使 ...
分类：
Web程序 时间：
2020-07-23 22:28:11
阅读次数：
105
查看kafka官网的userguide agent.sources = kafkaSource agent.channels = memoryChannel agent.sinks = hdfsSink agent.sources.kafkaSource.type = org.apache.flum ...
分类：
其他好文 时间：
2019-11-13 13:12:56
阅读次数：
101
关键：查看kafka官网的userguide agent.sources = kafkaSourceagent.channels = memoryChannelagent.sinks = hdfsSink agent.sources.kafkaSource.type = org.apache.flu ...
分类：
其他好文 时间：
2018-05-29 00:28:17
阅读次数：
132
主要分析了HDFSSink中HDFSEventSink和BucketWriter中关键几个方法
分类：
Web程序 时间：
2017-12-21 17:16:26
阅读次数：
281
目标：Flume实时监控目录sink到hdfs，再用sparkStreaming监控hdfs的这个目录，对数据进行计算 1、flume的配置，配置spoolDirSource_hdfsSink.properties，监控本地的一个目录，上传到hdfs一个目录下。 agent1.channels = ...
分类：
Web程序 时间：
2017-09-02 10:39:54
阅读次数：
315
版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]拦截器主要是对事件的header信息信息操作，要么直接忽略他，要么修改他的数据一、EventSerializersfile_rollsink和hdfssink都支持EventSerializer接口1.1、BodyTextSerializerBodyTextSerializer，别名：text。..
分类：
Web程序 时间：
2017-03-15 19:19:25
阅读次数：
254
#source的名字 agent.sources = kafkaSource # channels的名字，建议按照type来命名 agent.channels = memoryChannel # sink的名字，建议按照目标来命名 agent.sinks = hdfsSink # 指定source使... ...
分类：
Web程序 时间：
2017-01-14 18:19:20
阅读次数：
617
基于ThriftSource,MemoryChannel,HdfsSink三个组件，对Flume数据传输的事务进行分析，如果使用的是其他组件，Flume事务具体的处理方式将会不同。 Flume的事务处理原理： Flume在对Channel进行Put和Take操作的时候，必须要用事物包住,比如： Ch ...
分类：
Web程序 时间：
2016-12-16 14:13:18
阅读次数：
2141
Flume传输数据事务分析 本文基于ThriftSource,MemoryChannel,HdfsSink三个组件，对Flume传输数据的事务进行分析。假设使用的是其它组件。Flume事务详细的处理方式将会不同。普通情况下。用MemoryChannel就好了，我们公司用的就是这个。FileChann
分类：
Web程序 时间：
2016-01-30 09:38:24
阅读次数：
565
flume写hdfs的操作在HDFSEventSink.process方法中，路径创建由BucketPath完成分析其源码（参考：http://caiguangguang.blog.51cto.com/1652935/1619539）可以使用%{}变量替换的形式实现，只需要获取event中时间字段（nginx日志的localtime）传入hdfs.path即可具体实现如下：1...
分类：
Web程序 时间：
2015-04-19 19:37:36
阅读次数：
156
