标签:
学习参考自 http://spark-internals.books.yourtion.com/markdown/4-shuffleDetails.html
边 fetch 边处理。
shuffle 阶段就是边 fetch 边使用 combine() 进行处理,只是 combine() 处理的是部分数据。MapReduce 为了让进入 reduce() 的 records 有序,必须等到全部数据都 shuffle-sort 后再开始 reduce()。
因为 Spark 不要求 shuffle 后的数据全局有序,因此没必要等到全部数据 shuffle 完成后再处理。
使用可以 aggregate 的数据结构,比如 HashMap。每 shuffle 得到(从缓冲的 FileSegment 中 deserialize 出来)一个 \<key, value\=""> record,直接将其放进 HashMap 里面。如果该 HashMap 已经存在相应的 Key,那么直接进行 aggregate 也就是 func(hashMap.get(Key), Value)
,比如上面 WordCount 例子中的 func 就是 hashMap.get(Key) + Value
,并将 func 的结果重新 put(key) 到 HashMap 中去。
标签:
原文地址:http://www.cnblogs.com/skyEva/p/5592003.html