storm基础概念

时间：2017-04-27 21:04:37 阅读：105 评论：0 收藏：0 [点我收藏+]

Storm是一个分布式的，可靠的，容错的数据流处理系统。它会把工作任务委托给不同类型的组件，每个组件负责处理一项简单特定的任务。Storm集群的输入流由一个被称作spout的组件管理，spout把数据传递给bolt， bolt要么把数据保存到某种存储器，要么把数据传递给其它的bolt。你可以想象一下，一个Storm集群就是在一连串的bolt之间转换spout传过来的数据。

这里用一个简单的例子来说明这个概念。昨晚我在新闻节目里看到主持人在谈论政治人物和他们对于各种政治话题的立场。他们一直重复着不同的名字，而我开始考虑这些名字是否被提到了相同的次数，以及不同次数之间的偏差。

想像播音员读的字幕作为你的数据输入流。你可以用一个spout读取一个文件（或者socket，通过HTTP，或者别的方法）。文本行被spout传给一个bolt，再被bolt按单词切割。单词流又被传给另一个bolt，在这里每个单词与一张政治人名列表比较。每遇到一个匹配的名字，第二个bolt为这个名字在数据库的计数加1。你可以随时查询数据库查看结果，而且这些计数是随着数据到达实时更新的。

storm基础概念

标签：分布容错它的 nbsp tor 数据简单数据保存数据传递

原文地址：http://www.cnblogs.com/lnas01/p/6776412.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行