码迷,mamicode.com
首页 > Web开发 > 详细

Flume实现扇出流动

时间:2019-09-10 23:18:41      阅读:62      评论:0      收藏:0      [点我收藏+]

标签:ogg   命令   fan   说明   hosts   名称   mamicode   info   log   

flume扇出流动的过程

 

 

技术图片

实现过程

首先准备三台机器:hadoop01,hadoop02,hadoop03 (我在三台机器上已配置好hosts)

技术图片

 

 

 

然后每台机器上配置Agent

配置hadoop01

技术图片

 

 

 

配置hadoop02和hadoop03一样

技术图片

 

 

 

配置完了后,首先启动hadoop02和hadoop03上的Agent

flume-ng agent -n a1 -c /usr/flume/conf -f ./fan-out.conf -Dflume.root.logger=INFO,console

我已经配置好了flume的环境变量,所以直接调用flume-ng命令,如下参数说明

-n         agent名称

-c         flume配置文件的的路径

-f          我们创建的fan-out.conf(配置Agent)文件的路径

两台机器执行命令后控制台都回看到如下信息

 技术图片

 

 

 

然后在hadoop01机器上也启动flume

flume-ng agent -n a1 -c /usr/flume/conf -f ./fan-out.conf -Dflume.root.logger=INFO,console

成功连接会显示如下信息

 技术图片

 

 

 都启动成功了,可以打开另一个hadoop01客户端执行:nc hadoop01 44444 可以发送事件技术图片

 技术图片

 

打开hadoop02和hadoop03可以看到已经收到事件

 技术图片

 

Flume实现扇出流动

标签:ogg   命令   fan   说明   hosts   名称   mamicode   info   log   

原文地址:https://www.cnblogs.com/jumpkin1122/p/11503662.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有 京ICP备13008772号-2
迷上了代码!