现有的hadoop生态系统中存在的问题1）使用mapreduce进行批量离线分析；2）使用hive进行历史数据的分析；3）使用hbase进行实时数据的查询；4）使用storm进行实时的流处理；5）。。。。。。导致：维护成本高、学习成本高Spark的出现弥补了Hadoop生态系统中的缺陷，使用spar...
分类：
其他好文 时间：
2014-06-28 14:08:46
阅读次数：
306
在kafka中，每一个broker都是一个服务器。按照一般理解，服务器就是一个SocketServer，其不断接收用户的请求并进行处理。在Java中进行网络连接有两种方式一种为阻塞模式一种为非阻塞模式。Jafka采用非阻塞模式进行网络通讯。在Java的非阻塞模式中，建立socket server的一般流程如下：
1.启动ServerSocketChannel并将其绑定到特定的端口。
2.将Se...
分类：
其他好文 时间：
2014-06-28 09:25:54
阅读次数：
235
Jafka Acceptor接收到客户端请求并建立连接后，Acceptor会将Socket连接交给Processor进行处理。Processor通过以下的处理步骤进行客户端请求的处理：
1. 读取客户端请求。
2. 根据客户端请求类型的不同，调用相应的处理函数进行处理。
Processor读取客户端请求是一个比较有意思的事情，需要考虑两个方面的事情：第一，请求规则（Processor需要按照...
分类：
其他好文 时间：
2014-06-28 09:25:18
阅读次数：
278
在Kafka中，LogManager负责管理broker上所有的Log（每一个topic-partition为一个Log）。通过阅读源代码可知其具体完成的功能如下：
1. 按照预设规则对消息队列进行清理。
2. 按照预设规则对消息队列进行持久化（flush操作）。
3. 连接ZooKeeper进行broker、topic、partition相关的ZooKeeper操作。
4. 管理brok...
分类：
其他好文 时间：
2014-06-28 08:25:21
阅读次数：
208
过去十年，数据处理领域发生了很大的变化，可以认为是发生了一次革命。MapReduce、Hadoop以及其他相关技术使得在存储和处理我们以前无法想象的大规模数据方面成为可能。然后不幸的是，这些数据处理技术并不是实时系统，而且他们命中注定也不是。无法将Hadoop转换成实时系统，因为实时数据处理和批处理在要求上有本质的不同。
然后，大规模地实时数据处理需求在商业应用上已经越来越迫切。数据处理生态中缺少”实时Hadoop“（即类似于Hadoop在批处理领域的通用解决方案）已经成为一个最大的遗憾。Storm弥补了...
分类：
其他好文 时间：
2014-06-27 09:04:04
阅读次数：
184
Storm-0.9.2-incubating源码编译打包详解...
分类：
其他好文 时间：
2014-06-27 07:11:01
阅读次数：
642
Apache Storm是一个免费、开源、分布式的实时计算系统。相对于Hadoop适用于批处理而言，利用Storm可以非常容易地对流式数据进行实时可靠处理。Storm使用简单，支持多种编程语言且非常有趣！...
分类：
其他好文 时间：
2014-06-26 14:20:52
阅读次数：
294
Storm官方文档分为几个部分：
第一部分，主要是有关Storm的一些入门介绍，具体涉及四个子项：前言、使用教程、环境安装、工程示例
第二部分，主要是一些专题介绍，针对Storm框架的一些核心内容进行深入讲解。因此，相对于第一部分而言，要深入一些，具体涉及三个子项：使用指南、Java doc、FAQ
第三部分，介绍如何从社区中获取帮助。
第四部分，介绍Storm周边生态。
对于前两部...
分类：
其他好文 时间：
2014-06-26 07:16:57
阅读次数：
239
之前对这个的理解有些问题，今天用到有仔细梳理了一遍，记录一下 首先开启storm tracker机制的前提是， 1. 在spout emit tuple的时候，要加上第3个参数messageid 2. 在配置中acker数目至少为1 3. 在bolt emit的时候，要加上第二个参数anchor t...
分类：
其他好文 时间：
2014-06-25 15:57:09
阅读次数：
251
1. 背景介绍许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；（2） 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统；（...
分类：
其他好文 时间：
2014-06-20 16:18:14
阅读次数：
294
