码迷,mamicode.com
首页 > 其他好文 > 详细

Spark 与 MapReduce的区别

时间:2016-06-16 20:16:27      阅读:316      评论:0      收藏:0      [点我收藏+]

标签:

学习参考自 http://spark-internals.books.yourtion.com/markdown/4-shuffleDetails.html

 

1.  Shuffle read 边 fetch 边处理还是一次性 fetch 完再处理?

边 fetch 边处理。

  • MapReduce

     shuffle 阶段就是边 fetch 边使用 combine() 进行处理,只是 combine() 处理的是部分数据。MapReduce 为了让进入 reduce() 的 records 有序,必须等到全部数据都 shuffle-sort 后再开始 reduce()。

  • Spark

    因为 Spark 不要求 shuffle 后的数据全局有序,因此没必要等到全部数据 shuffle 完成后再处理。

    使用可以 aggregate 的数据结构,比如 HashMap。每 shuffle 得到(从缓冲的 FileSegment 中 deserialize 出来)一个 \<key, value\=""> record,直接将其放进 HashMap 里面。如果该 HashMap 已经存在相应的 Key,那么直接进行 aggregate 也就是 func(hashMap.get(Key), Value),比如上面 WordCount 例子中的 func 就是 hashMap.get(Key) + Value,并将 func 的结果重新 put(key) 到 HashMap 中去。

2. 

Spark 与 MapReduce的区别

标签:

原文地址:http://www.cnblogs.com/skyEva/p/5592003.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!