RDD Twister HaLoop Dryad MR Pregel.... 多个并行操作重用中间结果-抽象自动容错、位置感知性调度和可伸缩性 容错：数据检查点和记录数据的更新RDD只支持粗粒度转换，即在大量记录上执行的单个操作。将创建RDD的一系列转换记录下来（即Lineage），以便恢复丢失的分 ...
分类：
其他好文 时间：
2017-09-24 00:35:53
阅读次数：
175
目录 一、MapReduce/Hadoop 1.编程模型 2.系统实现 3.典型算法 二、Microsoft Dryad （本文为陈世敏老师课程笔记） 一、MapReduce/Hadoop Google 2014年推出。 1.编程模型 整体思路：程序员串行写程序 ，系统分布式并行完成，但要有很多限制 ...
分类：
其他好文 时间：
2017-06-02 22:03:11
阅读次数：
205
1背景介绍现今分布式计算框架像MapReduce和Dryad都提供了高层次的原语，使用户不用操心任务分发和错误容忍，非常容易地编写出并行计算程序。然而这些框架都缺乏对分布式内存的抽象和支持，使其在某些应用场景下不够高效和强大。RDD(Resilient Distributed Datasets弹性分...
分类：
其他好文 时间：
2015-07-15 12:43:05
阅读次数：
164
1背景介绍现今分布式计算框架像MapReduce和Dryad都提供了高层次的原语，使用户不用操心任务分发和错误容忍，非常容易地编写出并行计算程序。然而这些框架都缺乏对分布式内存的抽象和支持，使其在某些应用场景下不够高效和强大。RDD(Resilient Distributed Datasets弹性分布式数据集)模型的产生动机主要来源于两种主流的应用场景：Ø 迭代式算法：迭代式机器学习、图算法，包...
分类：
其他好文 时间：
2014-11-22 16:08:17
阅读次数：
392
Dryad的论文是微软早在2007年就发布的，Tez的核心思想来源于Dryad，差不多可以算是Dryad的开源实现吧。最近正好看到几个有趣的项目是基于Tez实现的，于是顺便追本溯源，学习了一下Dryad的理论基础...
分类：
其他好文 时间：
2014-07-09 11:29:28
阅读次数：
238
