问题导读:1.storm产生的条件是什么?2.storm的什么特性,使其成为不可替代?3.storm用什么来完成工作Topology?4.storm容错的原理是什么?场景伴随着信息科技日新月异的发展,信息呈现出爆发式的膨胀,人们获取信息的途径也更加多样、更加便捷,同时对于信息的时效性要求也越来越高。...
分类:
其他好文 时间:
2014-10-03 13:29:04
阅读次数:
311
Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPUintensive的计算。DRPC的stormtopology以函数的参数流作为输入,而把这些函数调用的返回值作为topology的输出流。DRPC其实不能算是storm本身的一个特性,它是通过组合storm的原语spout,...
分类:
其他好文 时间:
2014-10-01 17:02:51
阅读次数:
360
public class TridentState { TridentTopology _topology; Node _node; protected TridentState(TridentTopology topology, Node node) { _...
分类:
其他好文 时间:
2014-09-29 13:49:30
阅读次数:
140
Protecting computer systems from attacks that attempt to change USB topology and for ensuring that the system's information regarding USB topology is ...
分类:
其他好文 时间:
2014-09-28 20:28:55
阅读次数:
212
今天有个storm的topology被人kill掉了,但是找不到是谁做的,storm的ui有killtopology的功能,但是没有权限验证,这样就导致知道ui地址的任何人都可以kill掉topology,比较危险,考虑把这个actiondisable掉。有两种方法:1.前端增加nginx,做location分析ui页面,对应kill的but..
分类:
其他好文 时间:
2014-09-24 04:41:26
阅读次数:
212
最近在使用storm做了一下数据处理性能测试。 ? ? Topology结构:spout输出80万数据(csv格式);bolt1解析csv,拆分各信息段;bolt2按bolt1中某个字段汇总,累加记数后入库(入库触发频率:60s)。 ? ?...
分类:
其他好文 时间:
2014-09-23 17:43:35
阅读次数:
179
本文一个简单的示例演示LVS的配置(DR模式)和测试。使用的配置环境如下:Director server: 192.168.8.4Real server1: 192.18.8.5Real server2: 192.168.8.6VIP: 192.168.8.200网络topology图如下:图2中的VIP指的是虚拟IP地址,还可以叫做LVS集群的服务IP,在DR、TUN模式中,数据包是直接返回给用...
分类:
系统相关 时间:
2014-09-21 18:13:11
阅读次数:
349
计算topNwords的topology,用于比如trendingtopicsortrendingimagesonTwitter.实现了滑动窗口计数和TopN排序,比较有意思,具体分析一下代码Topology这是一个稍微复杂些的topology,主要体现在使用不同的grouping方式,fields...
分类:
其他好文 时间:
2014-09-19 21:05:06
阅读次数:
274
今天配置了IHS(IBM Http Server)转发请求到WAS(WebSphere Application Server),这是比较常用的拓扑结构(topology),不管是WAS或者WLS常使用这种拓扑。
场景就是把IHS放置到DMZ中,WAS放置到第二道防火墙的后面,从internate上来的请求先发到IHS,再由IHS转发到内网的WAS上。
在本机上配...
分类:
其他好文 时间:
2014-09-11 17:17:22
阅读次数:
337