标签：storm 分布式处理 算法 分布式
前言
scheduler是storm的调度器，它负责为Topology分配当前的集群可用资源，目前storm提供了3中调度器
- EvenScheduler：会将系统中的资源均匀的分配给当前需要任务分配的多个Topology
- DefaultScheduler：跟EvenScheduler基本一致，只是分配前，先释放其他Topology不需要的资源，然后调用EvenScheduler
- IsolationScheduler：可以单独为某些Topology指定它们需要的机器资源，详情参考
storm的新利器Pluggable Schedule
EvenScheduler
本文主要就EvenScheduler做例子介绍，相信读者就这个例子就可以知道EvenScheduler的原理了
假设当前集群有3台机器，A，B， C，每个机器有3个port，如下图：
那么，当有新的Topology提交的时候，就会分配资源，这时，在获取集群可用资源后会先sort一下，代码如下：
(defn sort-slots [all-slots]
(let [split-up (sort-by count > (vals (group-by first all-slots)))]
(apply interleave-all split-up)
))
; this can be rewritten to be tail recursive
(defn interleave-all
[& colls]
(if (empty? colls)
[]
(let [colls (filter (complement empty?) colls)
my-elems (map first colls)
rest-elems (apply interleave-all (map rest colls))]
(concat my-elems rest-elems))))
由此可见，3台机器sort之后的排序为
[A,1],[B,1],[C,1],[A,2],[B,2],[C,2],[A,3],[B,3],[C,3]
现在有两个Topology，T1，T2， T1需要2个slot，T2需要4个slot。
1、T1提交时，会用掉前两个slot [A,1],[B,1]，如下图，
2、T2提交时，这时集群可用资源为 [A,2],[B,2],[C,1],[A,3],[B,3],[C,2],[C,3]，则T2会占用 [A,2],[B,2],[C,1],[A,3],如下图：
由此可见，Storm现有的Scheduler会导致集群资源分配不均匀情况，而且也没有考虑worker之间的通信负载情况。
如有讲错的地方，欢迎留言指正
转载请注明出处，谢谢
Reference
1、storm源码分析 （第7章）
3、http://www.dis.uniroma1.it/~midlab/articoli/ABQ13storm.pdf
4、http://www.orgs.ttu.edu/debs2013/presentations/DEBS13-Paper88-Querzoni.pdf
Storm杂谈之调度算法
标签：storm 分布式处理 算法 分布式
原文地址：http://blog.csdn.net/wzhg0508/article/details/41173223
