标签：cloud 数据 ann 实体 hdf apach auto 下一步 发送
1、Flume简单介绍
Apache Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
2、Flume体系结构
工作流程：
（1）外部数据源(web server)将Flume可识别的Event发送到Source;
（2）Source收到Event后存储到一个或多个Channel中;
（3）Channel保留Event直到Sink将其处理完毕;
（4）Sink从Channel中取出数据，并将其传输至外部存储（HDFS）
组件说明：
（1）Event：Flume处理数据元，可能是一条日志，一个Avro对象等，通常约4kb大小
（2）Agent：Flume运行实体，每台机器一份，可能包括多个Source或者Sink
（3）Client：产生Event，在单独线程中运行
（4）Source：接收Event，并送入Channel，在单独线程中运行并监控
（5）Sink：从Channel接收Event，可能进行下一步转发（如连与另外某Source通讯），在单独线程中运行并监控
标签：cloud 数据 ann 实体 hdf apach auto 下一步 发送
原文地址：https://www.cnblogs.com/javasl/p/12303063.html
