Don't think it is supported yet. Take a look at thisJIRA trackingDelete Topic. For delete manuallyShutdown the clusterClean kafka log dir (specified b...
分类：
其他好文 时间：
2014-07-11 22:50:35
阅读次数：
328
海量数据处理使用的大多是鼎鼎大名的hadoop或者hive，作为一个批处理系统，hadoop以其吞吐量大、自动容错等优点，在海量数据处理上得到了广泛的使用。但是，hadoop不擅长实时计算，因为它天然就是为批处理而生的，这也是业界一致的共识。否则最近这两年也不会有s4,storm,puma这些实时计...
分类：
其他好文 时间：
2014-07-11 10:00:17
阅读次数：
213
Strom的简单实现Spout的实现对文件的改变进行分开的监听，并监视目录下有无新日志文件添加。在数据得到了字段的说明后，将其转换成tuple。声明Spout和Bolt之间的分组，并决定tuple发送给Bolt的途径。Spout中open、nextTuple和delcareOutputFields方...
分类：
其他好文 时间：
2014-07-10 15:01:33
阅读次数：
167
本篇博文向大伙详细讲解了如何构建Storm的项目工程，...
分类：
其他好文 时间：
2014-07-08 18:40:44
阅读次数：
264
# Storm介绍
Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。 Storm也可被用于“连续计算”（continuous computation），对数据流做连续查询，在计算时就将结果以流的形式输出给用户。它还可被用于“分布式RPC”，以并行的方式运行昂贵的运算。 Storm的主工程师Nathan Marz表示：
Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算，Storm之于实时处理，就好比Hadoo...
分类：
编程语言 时间：
2014-07-08 15:48:49
阅读次数：
633
快，指时延storm:网络直传，基于内存，流式处理，省去了批量处理收集数据的时间和作业调度时延，用于实时hadoop:hdfs传输，磁盘作为中间交换的介质，基于任务调度吞吐：单位时间内处理的数据量当数据量很大时，比的是吞吐，那hadoop会比storm快
分类：
其他好文 时间：
2014-07-08 09:11:30
阅读次数：
195
1.背景知识在不修改Storm任何源代码的情况下，让Storm运行在YARN上，最简单的实现方法是将Storm的各个服务组件（包括Nimbus和Supervisor），作为单独的任务运行在YARN上，当前比较有名的“Storm On YARN”实现是由yahoo！开源的，它基本实现了上述描述的功能，...
分类：
其他好文 时间：
2014-07-06 21:47:31
阅读次数：
266
背景是设计一个实时数据接入的模块，负责接收客户端的实时数据写入（如日志流，点击流），数据支持直接下沉到HBase上（后续提供HBase上的查询），或先持久化到Kafka里，方便后续进行一些计算和处理，再下沉到文件系统或做别的输出。
在设计中，对于客户端和服务端有这么些目标。
客户端需要支持多语言（Java，C++），做得尽量轻量级，只要连上服务端的ip:port，以RPC的形式调用简单的write就可以把数据写出去。客户端不承担任何逻辑的处理，服务端的负载均衡对客户端是透明的。
服务端想要做的是一个去中心...
分类：
其他好文 时间：
2014-07-04 08:59:19
阅读次数：
552
在现在的“大数据”、“云平台”这些前沿技术的背景下，衍生了很多平台型技术点，Nosql、Hadoop、Storm等层出不穷。这些华丽的技术后面其实处处都离不开“分布式”这个虽然提出了很久，但是大数据、云计算带火了的技术。以致于开个玩笑说，如果不懂一些“分布式"下的技术和原理的，会有点不好意思说自己是后端开发 -- (玩笑而已!! ^_^)。...
分类：
其他好文 时间：
2014-07-04 08:44:53
阅读次数：
216
storm有两种运行模式(本地模式和集群模式)1、首先创建一个类似于HelloWorld的简单程序，以便进入storm的大门，包结构如下：2、从包结构可以知道，这是一个MavenProject，pom.xml的内容如下：<projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org..
分类：
其他好文 时间：
2014-07-04 06:08:42
阅读次数：
490
