Flume是一个分布式的、可靠的、可用的服务，用于从许多不同的源上有效地搜集、汇总、移动大量数据日志到一个集中式的数据存储中。并且它是一个简单的和灵活的基于流的数据流架构。它具有鲁棒性和容错机制以及故障转移和恢复的机制。对于分析的应用中它使用一个简单的可扩展的数..
分类：
Web程序 时间：
2015-08-27 19:17:07
阅读次数：
266
问题导读：1.Flume-NG与Scribe对比，Flume-NG的优势在什么地方？2.架构设计考虑需要考虑什么问题？3.Agent死机该如何解决？4.Collector死机是否会有影响？5.Flume-NG可靠性(reliability)方面做了哪些措施？美团的日志收集系统负责美团的所有业务日志的...
分类：
Web程序 时间：
2015-08-27 18:36:58
阅读次数：
375
个人观点：大数据我们都知道hadoop，但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实 时性比较强的，数据量比较大的，我们可以采用Storm，那么Storm和什么技术搭配，才能够做一个适合自己的项目。下面给大家可以参考。可以带着下面问题来阅读...
分类：
Web程序 时间：
2015-08-27 18:32:29
阅读次数：
302
问题导读：1.Flume-NG与Scribe对比，Flume-NG的优势在什么地方？2.架构设计考虑需要考虑什么问题？3.Agent死机该如何解决？4.Collector死机是否会有影响？5.Flume-NG可靠性(reliability)方面做了哪些措施？美团的日志收集系统负责美团的所有业务日志的...
分类：
Web程序 时间：
2015-08-27 18:07:42
阅读次数：
249
大会地址 上海Spark Meetup第四次聚会将于2015年7月18日在太库科技创业发展有限公司举办，详细地址上海市浦东新区金科路2889弄3号长泰广场 C座12层，太库。本次聚会由七牛和Intel联合举办。大会主题 1. hadoop/spark生态的落地实践 王团结(七牛)七牛云数据平台工程师。主要负责数据平台的设计研发工作。关注大数据处理，高性能系统服务，关注hadoop/flume/k...
分类：
其他好文 时间：
2015-08-27 11:04:36
阅读次数：
189
Heartbeat高可用在整个环境中，通过heartbeat建立的高可用环境中，只有一台服务器是正常工作，另外一台服务器作为备份服务器。其工作原理是通过访问“虚拟IP”，虚拟IP根据heartbeat设置的“主节点”，定位到服务器。第一步:按照环境，完成IP地址的配置，测试连通性第二步：1.h..
分类：
其他好文 时间：
2015-08-25 12:47:32
阅读次数：
211
配置 设置代理 Flume代理配置存储在本地配置文件。这是一个文本文件格式，是Java属性文件格式。在相同的配置文件，可以指定一个或多个代理的配置。配置文件包括每个源，接收器和通道，把它们连接在一起，形成数据流。 配置单个组件 流中每个组件（源，接收器或通道）都有名称，类型，和一组特定实...
分类：
Web程序 时间：
2015-08-21 19:03:27
阅读次数：
418
Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心...
分类：
Web程序 时间：
2015-08-21 18:42:41
阅读次数：
232
Flume 读取JMS 消息队列消息，并将消息写入HDFS...
分类：
Web程序 时间：
2015-08-18 12:09:10
阅读次数：
161
Centos6.4KVM安装和配置测试使用环境:服务器：DellR710CPU型号物理CPU颗数内存大小和数量[root@localhost~]#cat/proc/cpuinfo|grepname|cut-d:-f2|uniq-c16Intel(R)Xeon(R)CPUL5520@2.27GHz[root@localhost~]#cat/proc/cpuinfo|grepphysical|sort-n|uniq-c16addresssizes:40bit..
分类：
其他好文 时间：
2015-08-18 06:42:04
阅读次数：
342
