flume安装和使用

时间：2018-04-22 10:41:27 阅读：318 评论：0 收藏：0 [点我收藏+]

标签：cat inf localhost def 信息 event 汇总 ons div

概览

1- flume简介

2- 系统要求

3- 安装和配置

4- 启动和测试

一、flume的简介

官网地址： http://flume.apache.org/

1- 概述

Flume是一种分布式，可靠且可用的服务，用于高效地收集，汇总和移动大量日志数据。它具有基于流式数据流的简单而灵活的架构。它具有可靠的可靠性机制以及许多故障转移和恢复机制，具有强大的容错性和容错能力。它使用一个简单的可扩展数据模型，允许在线分析应用程序。

Apache Flume的使用不仅限于日志数据聚合。由于数据源是可定制的，因此Flume可用于传输大量事件数据，包括但不限于网络流量数据，社交媒体生成的数据，电子邮件消息以及几乎任何可能的数据源。

2- 数据模型

A Flume event is defined as a unit of data flow having a byte payload and an optional set of string attributes. A Flume agent is a (JVM) process that hosts the components through which events flow from an external source to the next destination (hop).- 官网原句。

上图可以看出，1个agent需要有三个部分： source、channel、sink

二、系统要求

Java运行时环境 - Java 1.8或更高版本
内存 - 源，通道或接收器使用的配置具有足够的内存
磁盘空间 - 通道或接收器使用的配置有足够的磁盘空间
目录权限 - 代理使用的目录的读/写权限

三、安装和配置

下载地址： http://flume.apache.org/download.html

选择最新版本1.8

上传到/lcoal目录下，并查看文件大小（56M）

[root@master local]# cd /local
[root@master local]# du -sm apache-flume-1.8.0-bin.tar.gz
56 apache-flume-1.8.0-bin.tar.gz

解压并移动至/opt下

[root@master local]# mv apache-flume-1.8.0-bin flume
[root@master local]# mv flume/ /opt/

用官网的一个配置：

[root@master flume]# cd conf/
[root@master conf]# cp flume-conf.properties.template flume-conf.properties
[root@master conf]# vim flume-conf.properties

配置内容如下：

# example.conf: A single-node Flume configuration

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1