章节详情 第1章 课程导学 第2章 初识实时流处理Storm 第3章 Storm核心概念 第4章 Storm编程 第5章 Storm周边框架使用 第6章 Storm架构及部署 第7章 并行度 第8章 分组策略 第9章 Storm可靠性 第10章 DRPC 第11章 Storm整合其他大数据框架的使用 ...
分类：
编程语言 时间：
2019-07-01 14:12:47
阅读次数：
255
参考【并发编程网】的Storm官方教程翻译以WordCountToPology为例： // 构造Topology
TopologyBuilder builder = new Topol...
分类：
其他好文 时间：
2016-12-28 15:17:09
阅读次数：
176
1、先看一下数学中的异或 异或xor是一个数学运算符。它应用于逻辑运算。异或符号为“^”。异或也叫半加运算，其运算法则相当于不带进位的二进制加法：二进制下用1表示真，0表示假，则异或的运算法则为：0异或0=0，1异或0=1，0异或1=1，1异或1=0（同为0，异为1），既然相同的对象XOR操作，结果...
分类：
编程语言 时间：
2015-12-26 13:12:17
阅读次数：
220
storm高可靠性：storm有一种机制可以保证从spout发出的每个tuple都会被完全处理 可靠性机制：1.节点故障迁移 当一个节点上的worker出现问题是，会自动切到其他节点；2.消息完整发送一个消息(tuple)从spout发送出来，可能会导致成百上千的消息基于此消息被创建“单词统计”的例...
分类：
其他好文 时间：
2015-06-13 06:16:10
阅读次数：
182
对于Storm，它有一个很重要的特性：“Guarantee no data loss” ——可靠性很显然，要做到这个特性，必须要track每个data的去向和结果。Storm是如何做到的呢——acker机制。先概括下acker所参与的工作流程：Spout创建一个新的Tuple时，会发一个消息通知ac...
分类：
其他好文 时间：
2015-04-19 10:05:25
阅读次数：
226
我们知道Storm有一个很重要的特性，那就是Storm API能够保证它的一个Tuple能够被完全处理，这一点尤为重要，下面就给大家介绍一下storm中的可靠性。
1.Spout的可靠性保证
在Storm中，消息处理可靠性从Spout开始。为了保证数据能正确的被处理, 对于spout产生的每一个tuple,storm都能进行跟踪, 这里面涉及到ack/fail的处理, 如果一个tup...
分类：
其他好文 时间：
2014-12-02 20:56:26
阅读次数：
384
看过一些别人写的， 感觉有些东西没太说清楚，个人主要以源代码跟踪，参考个人理解讲述，有错误请指正。1基本名词1.1 Tuple: 消息传递的基本单位。很多文章中介绍都是这么说的， 个人觉得应该更详细一点。在spout发送的时候，函数原型 public List emit(List tuple, Ob...
分类：
其他好文 时间：
2014-10-03 14:18:44
阅读次数：
232
