码迷,mamicode.com
首页 > Web开发 > 详细

Flume入门教程-简单案例

时间:2019-09-02 12:02:11      阅读:119      评论:0      收藏:0      [点我收藏+]

标签:收藏   跟踪   读取   mit   xms   内存   https   修改   参数设置   

1.下载安装

 

Java代码  技术图片
  1. 官方网站:http://flume.apache.org/  
  2. http://mirror.bit.edu.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz  
  3. tar -zxvf apache-flume-1.6.0-bin.tar.gz  

 

 

2.修改配置

重命名flume-conf.properties.template文件为simple.conf,并修改为以下内容

 

Java代码  技术图片
  1. Agent名称定义为agent.   
  2. Source:可以理解为输入端,定义名称为s1  
  3. channel:传输频道,定义为c1,设置为内存模式  
  4. sinks:可以理解为输出端,定义为sk1,  
  5.   
  6. agent.sources = s1    
  7. agent.channels = c1  
  8. agent.sinks = sk1  
  9.   
  10. #设置Source的内省为netcat 端口为5678,使用的channel为c1  
  11. agent.sources.s1.type = netcat  
  12. agent.sources.s1.bind = localhost  
  13. agent.sources.s1.port = 5678  
  14. agent.sources.s1.channels = c1  
  15.   
  16. #设置Sink为logger模式,使用的channel为c1  
  17. agent.sinks.sk1.type = logger  
  18. agent.sinks.sk1.channel = c1  
  19. #设置channel信息  
  20. agent.channels.c1.type = memory #内存模式  
  21. agent.channels.c1.capacity = 1000     
  22. agent.channels.c1.transactionCapacity = 100 #传输参数设置。  

 

 

3.启动Agent

Java代码  技术图片
  1. bin/flume-ng agent -c conf -f conf/simple.conf --name agent -Dflume.root.logger=INFO,console  

 

4.发送测试数据

 

Java代码  技术图片
  1. telnet localhost 5678  
  2. hello,world.  

 

5.验证数据接收

验证flume是否接收到了数据

 

 

6.简单优化配置:
修改flume-env.sh,设置JDK版本,Flume1.6.0需要JDK1.6+
export JAVA_HOME=/opt/jdk1.7/jdk1.7.0_45/

设置内存相关参数
JAVA_OPTS="-Xms8192m -Xmx8192m -Xss256k -Xmn2g -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:-UseGCOverheadLimit"

 

7.其他配置案例

 使用命令行模式Tail读取日志文件配置

Java代码  技术图片
  1. agent.sources = s1  
  2. agent.channels = c1  
  3. agent.sinks = sk1  
  4.   
  5. #设置Tail方式跟踪日志内容  
  6. agent.sources.s1.type = exec  
  7. agent.sources.s1.command = tail -F /usr/local/logstash-1.4.2/new_log.2015-03-26.txt   
  8. agent.sources.s1.channels = c1  
  9.   
  10. agent.sinks.sk1.type = logger  
  11. agent.sinks.sk1.channel = c1  
  12.   
  13. #In Memory !!!  
  14. agent.channels.c1.type = memory  
  15. agent.channels.c1.capacity = 10004  
  16. agent.channels.c1.transactionCapacity = 100  

 

设置跟踪目录方式

 

Java代码  技术图片
    1. agent.sources = s1  
    2. agent.channels = c1  
    3. agent.sinks = sk1  
    4.   
    5. #设置spooldir  
    6. agent.sources.s1.type = spooldir  
    7. agent.sources.s1.spoolDir = /usr/local/logstash-1.4.2/logs  
    8. agent.sources.s1.fileHeader = true  
    9.   
    10. agent.sources.s1.channels = c1  
    11. agent.sinks.sk1.type = logger  
    12. agent.sinks.sk1.channel = c1  
    13.   
    14. #In Memory !!!  
    15. agent.channels.c1.type = memory  
    16. agent.channels.c1.capacity = 10004  
    17. agent.channels.c1.transactionCapacity = 100 

Flume入门教程-简单案例

标签:收藏   跟踪   读取   mit   xms   内存   https   修改   参数设置   

原文地址:https://www.cnblogs.com/ashaff/p/11445359.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!