先来看一下一张技术的全景图,其中涉及内存计算的技术标成红色。 1)事务处理:主要分为Cache(Memcached, Redis, GemFire)、RDBMS、NewSQL(以VoltDB为首的)三部分,缓存和NewSQL数据库是关注的重点。2)流式处理:Storm本身只是计算的框架,而Spark-Streaming才实现了内存计算式的流处理。3)分析阶段的对比:Ø 通用处理:MapReduc...
分类:
其他好文 时间:
2014-12-13 15:11:40
阅读次数:
484
Release Notes - Apache Storm - Version 0.9.2-incubating Sub-task [STORM-207] - Add storm-starter as a module [STORM-208] - Add storm-kafka as a module [STORM-223] - Safe YAML Parsing [STORM-232] - ...
分类:
Web程序 时间:
2014-12-12 15:07:15
阅读次数:
429
Trident主要有5类操作: 1、作用在本地的操作,不产生网络传输。 2、对数据流的重分布,不改变流的内容,但是产生网络传输。 3、聚合操作,有可能产生网络传输。 4、作用在分组流(grouped streams)上的操作。 ...
分类:
其他好文 时间:
2014-12-12 13:28:26
阅读次数:
1018
Learning storm book 笔记8
有代码的书籍看起来就是爽,看完顺便跑个demo,感觉很爽!
场景分析
主要是利用apache的访问日志来进行分析统计 如用户的IP来源,来自哪个国家或地区,用户使用的Os,浏览器等信息,以及像搜索的热词等信息的统计 这里日志信息如下
24.25.135.19 - - [1-01-2011:06:20:31 -0500] "GET...
分类:
其他好文 时间:
2014-12-11 06:48:19
阅读次数:
261
简单介绍了storm topology启动时的大概过程...
分类:
其他好文 时间:
2014-12-11 01:36:28
阅读次数:
529
Hadoop,HBase,Storm,Spark到底是什么?
Hadoop=HDFS+Hive+Pig+......
分类:
其他好文 时间:
2014-12-09 17:45:22
阅读次数:
183
1、修改/etc/hosts
172.16.3.7 nimbus
172.16.3.8 supervisor1
172.16.3.9 supervisor2
172.16.3.10 supervisor3
2、集群所有机器安装ZooKeeper,storm需要zk存储数据及进行nimbus、supervisor之间协调
tar xzvf ...
分类:
其他好文 时间:
2014-12-08 17:46:22
阅读次数:
281