问题导读：1.Flume-NG与Scribe对比，Flume-NG的优势在什么地方？2.架构设计考虑需要考虑什么问题？3.Agent死机该如何解决？4.Collector死机是否会有影响？5.Flume-NG可靠性(reliability)方面做了哪些措施？美团的日志收集系统负责美团的所有业务日志的...
分类：
Web程序 时间：
2015-08-27 18:36:58
阅读次数：
375
个人观点：大数据我们都知道hadoop，但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实 时性比较强的，数据量比较大的，我们可以采用Storm，那么Storm和什么技术搭配，才能够做一个适合自己的项目。下面给大家可以参考。可以带着下面问题来阅读...
分类：
Web程序 时间：
2015-08-27 18:32:29
阅读次数：
302
问题导读：1.Flume-NG与Scribe对比，Flume-NG的优势在什么地方？2.架构设计考虑需要考虑什么问题？3.Agent死机该如何解决？4.Collector死机是否会有影响？5.Flume-NG可靠性(reliability)方面做了哪些措施？美团的日志收集系统负责美团的所有业务日志的...
分类：
Web程序 时间：
2015-08-27 18:07:42
阅读次数：
249
配置 设置代理 Flume代理配置存储在本地配置文件。这是一个文本文件格式，是Java属性文件格式。在相同的配置文件，可以指定一个或多个代理的配置。配置文件包括每个源，接收器和通道，把它们连接在一起，形成数据流。 配置单个组件 流中每个组件（源，接收器或通道）都有名称，类型，和一组特定实...
分类：
Web程序 时间：
2015-08-21 19:03:27
阅读次数：
418
Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心...
分类：
Web程序 时间：
2015-08-21 18:42:41
阅读次数：
232
http://www.aboutyun.com/thread-6855-1-1.html个人观点：大数据我们都知道hadoop，但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实 时性比较强的，数据量比较大的，我们可以采用Storm，那么Stor...
分类：
Web程序 时间：
2015-08-14 11:27:12
阅读次数：
220
org.apache.flume.sink.AvroSink是用来通过网络来数据传输的。能够将event发送到RPCserver（比方AvroSource），使用AvroSink和AvroSource能够组成分层结构。它继承自AbstractRpcSink extends AbstractSin.....
分类：
编程语言 时间：
2015-08-10 21:56:32
阅读次数：
207
背景
Flume是Apache赞助的一个分布式日志管理系统，主要功能就是把集群中每个worker产生的日志log，collect到特定的地点。
为什么要写这篇文章呢，因为现在搜索出来的文献大多是老版本的flume，在flume1.X版本后，也就是flume-ng版本跟之前出现了很大的改动，市面上的很多文档都已经过时了，大家看的时候一定要注意这点，稍后我会提供几个比较新的，有参考价值的文章。...
分类：
Web程序 时间：
2015-08-04 09:30:46
阅读次数：
187
一、flume-ng简介 请参考官方文档：http://flume.apache.org/FlumeUserGuide.html 二、实例 需求说明：需要监控一个目录，并自动上传到服务器，且需要在传输过程中进行加密。 整体方案：n个client-agent -->server-agent clien...
分类：
Web程序 时间：
2015-07-31 18:16:37
阅读次数：
178
做软件开发的都知道模块化思想，这样设计的原因有两方面： 一方面是可以模块化，功能划分更加清晰，从“数据采集--数据接入--流失计算--数据输出/存储” ? 1）.数据采集 负责从各节点上实时采集数据，选用cloud...
分类：
Web程序 时间：
2015-07-27 21:13:48
阅读次数：
185
