码迷,mamicode.com
首页 > Web开发 > 详细

利用Eclipse对Flume进行远程调试分析环境搭建

时间:2019-07-21 01:21:25      阅读:170      评论:0      收藏:0      [点我收藏+]

标签:出现   number   ant   tran   打开   hub   localhost   cli   apach   

准备工作:
1、到Flume官网下载apache-flume-1.8.0-bin.tar.gz
 
在Flume的conf目录新建一个RollingFileSink.conf文件
a1.sources = r1
a1.sinks = k1
a1.channels = c1
 
# 配置sources
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 6666
 
# 配置sink
a1.sinks.k1.type = com.flumeextend.RollingFileSink
a1.sinks.k1.sink.directory = G:\\apache-flume-1.8.0-bin\\RollingFileSinkTest
a1.sinks.k1.sink.rollInterval=0
a1.sinks.k1.sink.batchSize=100
a1.sinks.k1.sink.serializer=TEXT
a1.sinks.k1.sink.serializer.appendNewline = true
 
# 配置channel
a1.channels.c1.type = file
a1.channels.c1.checkpointDir = G:\\apache-flume-1.8.0-bin\\checkpoint
a1.channels.c1.dataDirs = G:\\apache-flume-1.8.0-bin\\data
 
# 将三者串联
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
 
开启FLume远程调试:
在bin目录下的flume-ng.ps1文件,增加以下配置:
$JAVA_OPTS="-Xmx100m -Xdebug -Xrunjdwp:transport=dt_socket,address=8888,server=y,suspend=y"
 
技术图片
 
打开CMD命令行,执行以下命令,启动Flume Agent:
cd G:\apache-flume-1.8.0-bin\bin
 
.\flume-ng.cmd agent --conf ../conf  --conf-file ../conf/RollingFileSink.conf --name a1 --property flume.root.logger=INFO,console
 
 
会出现:Listening for transport dt_socket at address: 8888
技术图片
 
到Eclipse中开启flume远程调试:
 
技术图片
打好断点:
技术图片
 
点击Debug,就可以开始调试我们自己写的Flume插件了:
技术图片
 
使用telnet给Flume发送一个event
 
新打开一个终端,输入命令:
telnet localhost 6666
 
技术图片
 
在Eclipse中先打好断点:
 
技术图片
 
输入Hello World,之后可以在Eclipse中打断点调试啦!
 
技术图片

 

利用Eclipse对Flume进行远程调试分析环境搭建

标签:出现   number   ant   tran   打开   hub   localhost   cli   apach   

原文地址:https://www.cnblogs.com/yangcx666/p/11219921.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!