码迷,mamicode.com
首页 > Web开发 > 详细

《OD学Flume》20160806

时间:2016-08-06 11:22:04      阅读:158      评论:0      收藏:0      [点我收藏+]

标签:

一、Flume

Flume是一个分布式的,可靠的,可用的,非常有效率的对大数据量的日志数据进行收集、聚集、移动信息的服务。

 

1. 架构方式

1)所有应用使用一台flume服务器;

2)所有应用共享flume集群;

3)每个应用使用一台flume,然后使用一个flume节点收集分散的flume数据;

 

2. flume组件

1)启动的每个flume进程(jvm进程),称为agent

每个flume agent:

source:与外部数据源结合,获取或者接收数据

(1)source主动从外部数据源上获取数据

(2)source接收外部数据源发送过来的数据

channel:缓存,类似队列,先进先出

(1)容错: File channel

(2)缓冲

sink:从channel里面获取数据,发送出去

flume:就是简单地选择合适的source、channel、sink类型

 

二、安装部署

1)下载安装包

2)解压安装

3)修改配置文件

flume-env.sh.template  -> flume-env.sh.template

JAVA_HOME

JAVA_OPTS

 

《OD学Flume》20160806

标签:

原文地址:http://www.cnblogs.com/yeahwell/p/5743402.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!