码迷,mamicode.com
首页 > Web开发 > 详细

Flume的安装与使用

时间:2017-05-24 21:13:37      阅读:207      评论:0      收藏:0      [点我收藏+]

标签:bin   root   打印   cap   localtime   div   local   控制   bsp   

Flume下载后,解压,新增一个配置文件,写入配置即可

我将配置文件写在 conf 下,取名为 flume-conf-spooldir.properties

Flume 运行命令:

bin/flume-ng agent --conf conf --conf-file conf/flume-conf-spooldir.properties --name LogAgent -Dflume.root.logger=DEBUG,console

其中,

-Dflume.root.logger=DEBUG,console 纯粹是为了在控制台打印而加的,非必须

 

之后在/tmp/logs 目录下,放入一个文件,即可看到运行效果

根据此配置文件,会有的效果:

1、hdfs中有 /tmp/logs 放入的文件

2、/tmp/logs 中放入的文件有一个后缀名.complete

 

注:要保证 HDFS 是启动起来的

 

配置文件的内容为:

LogAgent.sources = mysource
LogAgent.channels = mychannel
LogAgent.sinks = mysink

LogAgent.sources.mysource.type = spooldir
LogAgent.sources.mysource.channels = mychannel
LogAgent.sources.mysource.spoolDir =/tmp/logs

LogAgent.sinks.mysink.channel = mychannel
LogAgent.sinks.mysink.type = hdfs
LogAgent.sinks.mysink.hdfs.path = hdfs://node1:9000/data/logs/%Y/%m/%d/%H/
LogAgent.sinks.mysink.hdfs.batchSize = 1000
LogAgent.sinks.mysink.hdfs.rollSize= 0
LogAgent.sinks.mysink.hdfs.rollCount = 10000
LogAgent.sinks.mysink.hdfs.useLocalTimeStamp = true

LogAgent.channels.mychannel.type = memory
LogAgent.channels.mychannel.capacity = 10000
LogAgent.channels.mychannel.transactionCapacity = 100

 

Flume的安装与使用

标签:bin   root   打印   cap   localtime   div   local   控制   bsp   

原文地址:http://www.cnblogs.com/sorco/p/6900830.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!