1.shuffle deck of cards and draw cards
import itertools,random
deck=list(itertools.product(range(1,14),['Spade','Heart','Diamond','Club']))
random.shuffle(deck)
for i in range(5):
print deck[...
分类：
其他好文 时间：
2015-02-10 09:16:33
阅读次数：
138
本篇主要介绍MapReduce的作业机制，并介绍介于Map和Reduce过程中的Shuffle和排序过程。
分类：
其他好文 时间：
2015-02-06 23:06:24
阅读次数：
263
DStreamGraph有点像简洁版的DAG scheduler，负责根据某个时间间隔生成一序列JobSet，以及按照依赖关系序列化。这个类的inputStream和outputStream是最重要的属性。spark stream将动态的输入流与对流的处理通过一个shuffle来连接。前面的（shu...
分类：
其他好文 时间：
2015-02-05 14:53:13
阅读次数：
302
扩展欧几里德+快速幂 每次转换位置：第x位的转移到2*x %(n+1)这个位置上 那么m次后就到了(2^m)*x %(n+1)这个位置上 那么找洗牌m次后在 l 位置上的牌就相当于解线性模方程： (2^m)*x ≡ l (mod n+1) 扩展欧几里得即可 1 /***************...
分类：
其他好文 时间：
2015-02-04 18:07:38
阅读次数：
130
// .h#import @interface NSMutableArray (VIMI)- (void)shuffle;@end#import "NSMutableArray+VIMI.h"@implementation NSMutableArray (VIMI)- (void)shuffle{ ...
分类：
其他好文 时间：
2015-02-03 16:42:46
阅读次数：
164
x * 2m = l (mod n + 1)，故x = l * (2m)-1(mod n + 1)只需要求一下逆元什么的就做完了，注意乘法要用"快速加"的方法。。。否则会爆long long 1 /***************************************************...
分类：
其他好文 时间：
2015-02-02 00:41:34
阅读次数：
202
无论是Hadoop还是spark，shuffle操作都是决定其性能的重要因素。在不能减少shuffle的情况下，使用一个好的shuffle管理器也是优化性能的重要手段。ShuffleManager的主要功能是在task直接传递数据，所以getWriter和getReader是它的主要接口。大流程： ...
分类：
其他好文 时间：
2015-01-26 01:21:10
阅读次数：
488
当某个task完成后，某个shuffle Stage X可能已完成，那么就可能会一些仅依赖Stage X的Stage现在可以执行了，所以要有响应task完成的状态更新流程。=======================DAG task完成后的更新流程===================->Coar...
分类：
其他好文 时间：
2015-01-25 23:53:57
阅读次数：
281
Stage 是一组独立的任务，他们在一个job中执行相同的功能（function），功能的划分是以shuffle为边界的。DAG调度器以拓扑顺序执行同一个Stage中的task。/** * A stage is a set of independent tasks all computing the...
分类：
其他好文 时间：
2015-01-25 01:16:36
阅读次数：
197
mapreduce_shuffle does not exist
提交作业出现类似下面的错误：
mapreduce_shuffle does not exist
解决办法：
在 yarn-site.xml 配置文件中增加：
yarn.nodemanager.aux-services
mapreduce_shuffle...
分类：
其他好文 时间：
2015-01-22 18:15:37
阅读次数：
182
