标签：能力 channel net 格式 数据流 开发 特征 背景 bdr
Hadoop业务的整体开发流程：
? 从Hadoop的业务开发流程中可以看出，在大数据的业务处理流程中，对于数据的采集是十分重要的一步，也是不可避免的一步。
? 许多公司的平台每天会产生大量的日志（一般为流式数据，如搜索引擎的pv,查询等），处理这些日志需要特定的日志系统。一般而言，这些系统需要具有如下的特征：
开源的日志系统，包括facebook的scribe，apache的chukwa,linkedin的kafka和cloudera的flume等。
flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理、并写入到各种数据接收方（比如文本、HDFS、Hbase等）的能力。
flume的数据流由事件（Event）贯穿始终。事件是Flume的基本数据单位，它携带日志数据（字节数组形式）并且携带有头信息。这些Event由Agent外部的Source生成。当Source捕获事件后会进行特定的格式化，然后source会把事件推入（单个活多个）Channel中。可以把Channel看作是一个缓冲区，它将保存事件直到slink处理完该事件。Sink负责持久化日志或者把事件推向另一个Source.
Flume的可靠性
当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-end（收到数据agent首先将event写到磁盘上，当数据传送成功后，再删除；如果数据发送失败，可以重新发送），store on failure（这也是scribe采用的策略，当数据接收方crash时，将数据写到本地，待恢复后，继续发送），Besteffort(数据发送到接收方后，不会进行确认)。
Flume的可恢复性
还是靠Channel。推荐使用FileChannel，事件持久化在本地文件系统里（性能较差）。
? Client：clinet生产数据，运行在一个独立的线程。
? Event：一个数据单元，消息头和消息体组成。（Event可以是日志记录，avro对象等。）
? Flow:Event从源头到达目的地的迁移的抽象
? Agent：一个独立的Flume进程，包含组件Source、Channel、Sink。（Agent使用JVM运行Flume。每台机器运行一个agent,但是可以在一个agent中包含多个sources和sinks）
? Source:数据收集组件。（Source从Client收集数据，传递给Channel）
? sink:从Channel中读取并移除Event，将Event传递到FlowPipeLine中的下一个Agent（如果有的话）（Sink从channel收集数据，运行在一个独立线程。）
? Flume运行的核心是Agent。Flume以Agent为最小的独立运行单位。一个Agent就是一个JVM。它是一个完整的数据收集工具，包含三个核心组件，分别是source、channel、sink。通过这些组件，Event可以从一个地方流向另一个地方，如下图所示：
下载地址：
? http://mirrors.hust.edu.cn.apace
? Flume框架对hadoop和zookeeper的依赖只是在jar包上，并不要求flume启动时必须将hadoop和zookeeper服务也启动。
tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /home/app/[root@node01 conf]# cp flume-env.sh.template flume-env.sh
vi /etc/profile
保存使其生效
source /etc/profileflume-ng version
标签：能力 channel net 格式 数据流 开发 特征 背景 bdr
原文地址：https://www.cnblogs.com/shine-rainbow/p/11385731.html
