1,DRPC原理
客户端给DRPC服务器发送要执行的方法的名字，以及这个方法的参数。实现了这个函数的topology使用DRPCSpout从DRPC服务器接收函 数调用流。每个函数调用被DRPC服务器标记了一个唯一的id。 这个topology然后计算结果，在topology的最后一个叫做ReturnResults的bolt会连接到DRPC服务器，并且把这个调用的结
果发送给DRPC...
分类：
其他好文 时间：
2015-01-21 08:58:57
阅读次数：
134
Avoid The Lakes
Time Limit: 1000MS
Memory Limit: 65536K
Total Submissions: 6409
Accepted: 3466
Description
Farmer John's farm was flooded in the most recent storm, a ...
分类：
其他好文 时间：
2015-01-20 20:37:59
阅读次数：
177
1,报错如下：
ava.lang.RuntimeException: Error when launching multilang subprocess
Caused by: java.io.IOException: Cannot run program "python" (in directory "/tmp/eaf0b6b3-67c1-4f89-b3d8-23edada49b04/super...
分类：
其他好文 时间：
2015-01-20 15:50:56
阅读次数：
251
看了之前的教程，会发现多处出现zookeeper，比如hadoop的 auto failover 得用 zookeeper ，Hbase 的 RegionServer 也得用zookeeper。其实不止hadoop，包括现在小有名气的 Storm 用的也是zookeeper。那么zookeeper 究竟是做什么用的？...
分类：
其他好文 时间：
2015-01-18 19:46:27
阅读次数：
259
topology提交前会先判断集群中是否存在同名作业，如果存在在提交失败，如果没有则会增加集群提交次数SubmittedCount，每次提交成功，该变量都会加1，然后会为该作业分配一个id，生成规则如下：
public static String TopologyNameToId(String topologyName, int counter) {
return topologyNam...
分类：
Web程序 时间：
2015-01-16 20:58:00
阅读次数：
534
一个topology包含一或多个spout bolt，spout负责在数据源获得数据并发送给bolt，每个bolt负责做完处理后发给下一个bolt。通常topology的创建是由TopologyBuilder来创建的，该组件会记录包含哪些spout bolt，并做相应验证：各组件是否有id冲突,校验方法如下：
private void validateUnusedId(String id) {
...
分类：
Web程序 时间：
2015-01-16 16:47:39
阅读次数：
335
在前一篇文章中，介绍到了Galaxy的增量计算性质，其state是框架内部管理的，以及与Storm的简单对比。这篇文章将讲述更多Galaxy增量模型的事情，并介绍这套增量模型之上实现的Galaxy SQL和Galaxy Operator，同时会从增量角度对比Spark Streaming。...
分类：
其他好文 时间：
2015-01-16 16:42:07
阅读次数：
652
最近遇到了两起数据库连接数不足的问题， 通常都会预留一些会话增加的情况， 但在一些特殊情况下如连接风暴(logon storm)， 如果在监听中没有做rate限流，对数据库来说巨大的冲击可能会导致数据库Hang 或 ora-20 或ora-18 错误。 对于Hang并伴有进程数不足的情况，AWR、A...
分类：
系统相关 时间：
2015-01-16 14:42:04
阅读次数：
344
Storm集群升级Python库遇到的一个与yum相关的问题...
分类：
编程语言 时间：
2015-01-15 13:00:13
阅读次数：
155
Supervisor中文翻译是监督者，意思简单明了，就是对资源进行监控，其实主要是woker资源。该组件所做的事情概括如下：
1、每隔一段时间发送心跳证明自己还活着
2、下载新的topology
3、释放无效的woker
4、分配新的任务
该组件主要包含：心跳线程、supervisor事件接受线程、处理线程，一旦事件接受到则会进入任务分配环节，主要逻辑...
分类：
Web程序 时间：
2015-01-14 16:52:28
阅读次数：
284
