最近本人对各种分布式计算平台研究的比较火热,上周的时间简单了了解了Storm的用法,今天马不停蹄的开始了新的学习。同样是非常流行的分布式平台,Spark,跟Hadoop属于同类型的。Spark和Storm一样,作为最近才刚刚开源出来的一个项目,学习的资料相当少,大家都还在学习阶段,所以,我目前的学习的情况也只是限于比较粗糙的学习。
Spark是一个开源的通用并行分布式计...
分类:
其他好文 时间:
2014-10-27 23:10:00
阅读次数:
345
HTML你做的页面在哪些流览器测试过?这些浏览器的内核分别是什么?IE: trident内核Firefox:gecko内核Safari:webkit内核Opera:以前是presto内核,Opera现已改用Google Chrome的Blink内核Chrome:Blink(基于webkit,Goog...
分类:
其他好文 时间:
2014-10-25 22:47:32
阅读次数:
282
流程:1.X端发送数据到kafka(如web端发送的订单数据)。2.storm从kafka获取数据进行分析。 a.storm与kafka整合,获得数据——Sport b.storm对数据进行分析——Bolt 3.结果保存和显示(或者传给别人)。 a.将结果保存到DB(Hbase,redi...
分类:
其他好文 时间:
2014-10-25 17:13:49
阅读次数:
220
之前写了2篇文章讲述了Storm的基本知识。最近也学习了Storm的高级属性了,单纯粹还是属于了解的状态。我就简单介绍几个比较简单的属性。
1.DRPC。简称分布式RPC,模型图:
用户直接面对的是DRPC Server,避开了所有的拓扑逻辑,Storm提供了一个名为LinearDRPCTopologyBuilder的线性拓扑构建器,他把DRPC所做的几乎所有步骤都自动...
分类:
其他好文 时间:
2014-10-25 09:21:51
阅读次数:
200
最近研究Storm的Stream Grouping的时候,对Field Grouping和Shuffle Grouping理解不是很透彻。去看WordCountTopology也不怎么理解,后来脑洞一开,加了一行代码再次运行,彻底顿悟。只能说自己对Storm的基本概念还是没吃透啊。...
分类:
其他好文 时间:
2014-10-25 00:52:08
阅读次数:
224
在storm中的Bolt中可以处理完成逻辑后,向后面的Blot继续发送消息。可以发送多个不同的消息,如:collector.emit("update-delivered-status",new Values(emailDeliverStatus)); collector.emit("save-...
分类:
其他好文 时间:
2014-10-24 12:44:07
阅读次数:
313
上篇文章本人简单的介绍了Storm的起源,今天本人又继续学习了Storm的基本的一些知识,基本了解了他的基本用法,还好,不算太难,如果大家了解了Hadoop的MapReduce模型的话,看这个也是非常类似的。在了解Storm的原型时,首先了解一些概念。
1.Tuple(元组),作为消息传递的基本单元,元组中的字段可以是任何类型的对象。元组会用于后面提到的Bolt方法的execute方法。
2....
分类:
其他好文 时间:
2014-10-22 11:10:34
阅读次数:
212
原文传送门 HTML 你做的页面在哪些流览器测试过?这些浏览器的内核分别是什么? IE: trident内核 Firefox:gecko内核 Safari:webkit内核 Opera:以前是presto内核,Opera现已改用Google Chrome的Blink内核 Chrome:B...
分类:
其他好文 时间:
2014-10-21 15:46:24
阅读次数:
486
Storm 调优是非常重要的, 仅次于写出正确的代码, 好在Storm官网上有关于worker executors tasks的介绍,http://storm.incubator.apache.org/documentation/Understanding-the-parallelism-of-a-...
分类:
其他好文 时间:
2014-10-20 11:33:32
阅读次数:
254
Storm应用场景Twitter列举了Storm的三大类应用:1.信息流处理{Streamprocessing}Storm可用来实时处理新数据和更新数据库,兼具容错性和可扩展性。2.连续计算{Continuouscomputation}Storm可进行连续查询并把结果即时反馈给客户端。比如把Twit...
分类:
其他好文 时间:
2014-10-19 18:36:50
阅读次数:
292