开源大数据处理工具：查询引擎：phoenix、Stinger、Presto、shark、pig、Cloudera impala、Apache Drill、Apache Tajo、Hive流式计算：Facebook Puma、Twitter Rainbird、YAhoo S4、Twitter Stor...
分类：
其他好文 时间：
2015-07-26 17:01:21
阅读次数：
343
大数据数据处理模型：1.Google的MapReduce是一个简单通用和自动容错的批处理计算模型。但，不适合交互式和流式计算！2.Storm3.Impala4.GraphLab5.SparkSpark: 伯克利大学提出， RDD概念（一种新的抽象的弹性数据集），MapReduce的一种扩展。RDD本...
分类：
其他好文 时间：
2015-07-13 13:50:04
阅读次数：
103
问题描述1、在流式计算中经常需要对一批的数据进行汇总计算，类似SQL中的GROUP BY。在用JStorm来实现这一条简单的SQL时，面对的是一条一条的数据库变化的消息（这里需要保证有序消费），其实相当于在一堆的消息上面做了一个嵌套的SQL查询，用一张图表示如下：2、业务DB中的表基本上不会有大宽表...
分类：
Web程序 时间：
2015-02-05 13:08:06
阅读次数：
244
典型大数据计算模式与系统
典型大数据计算模式
典型系统
大数据查询分析计算
HBase，Hive，Cassandra，Impala，Shark，Hana等
批处理计算
Hadoop MapReduce，Spark等
流式计算
Scribe，Flume，Storm，S4, Spark S...
分类：
其他好文 时间：
2015-01-13 21:33:30
阅读次数：
382
分类：大数据接触这块将近3个月左右，期间给自己的定位也是业务层开发。对平台级的产品没有太深入的理解和研究，所以也不能大谈特谈什么storm架构之类的了。说说业务中碰到流式计算问题吧：1.还是要介绍下简要的架构(原谅我不会画图)流式数据接入层------------------->流式数据处理层---...
分类：
其他好文 时间：
2014-11-26 20:47:03
阅读次数：
253
紧接上篇流式计算-Jstorm提交Topology过程(上)，
5、上篇任务已经ServiceHandler.submitTopologyWithOpts()方法，在该方法中，会实例化一个TopologyAssignEvent，相当于创建了一个topology级别的作业，然后将其保存到TopologyAssign的任务队列中，具体代码如下：
TopologyAssignEven...
分类：
Web程序 时间：
2014-11-20 22:00:30
阅读次数：
303
Topology是Jstorm对有向无环图的抽象，内部封装了数据来源spout和数据处理单元bolt，以及spout和bolt、bolt和bolt之间的关系，它可以被提交到Jstorm集群。
本文以Jstorm自带的SequenceTopology简单介绍一下Jstorm提交topology的过程，本文主要介绍提交过程，不涉及具体业务，
1、 SequenceTopology核心方法c...
分类：
Web程序 时间：
2014-11-19 01:46:37
阅读次数：
273
对流式模型的理解：
以鼠标移动拖拽为例，在原来的回调函数模型中，拖拽的动作被分散到mousedown/mousemove/mouseup等琐碎的处理中，
其中很多与拖拽本身无关的处理；
而在流式模型，只需要关心拖拽本身的处理逻辑。
在erlang中流式模型是基于进程实现，那在C语言中如何实现？...
分类：
其他好文 时间：
2014-11-09 23:53:55
阅读次数：
239
本篇紧接着概念篇，从宏观角度上看一下Samza实时计算服务的架构是什么样的？
Samza是由以下三层构成：
1. 数据流层（A streaming layer）
2. 执行层（An execution layer）
3. 处理层（A progressing layer）
那Samza是依靠哪些技术完成以上三层的组合呢...
分类：
其他好文 时间：
2014-10-29 17:11:57
阅读次数：
261
大家应该听我在前言篇里扯皮后，迫不及待要来一看Samza究竟是何物了吧？先了解一下Samza的Background是必不可少的（至少官网上是放在第一个的），我们需要从哪些技术背景去了解呢？
什么是消息（Messaging）？
消息系统是一种实现近实时异步计算的流行方案。消息产生时可以被放入一个消息队列（ActiveMQ，RabbitMQ）、发布-订阅系统（Kestrel...
分类：
其他好文 时间：
2014-10-27 23:10:44
阅读次数：
349
