码迷,mamicode.com
首页 > 其他好文 > 详细

RDD容错处理方式和传统容错处理方式的比较--(视频笔记)

时间:2015-12-28 20:35:22      阅读:141      评论:0      收藏:0      [点我收藏+]

标签:

1、HDFS只能读取,或者通过其他途径创建
2、transfrmation是lazy的。
3、传统的容错方式,数据检查点或者记录数据的更新
容错是分布式最困难的部分。
数据检查点:通过数据中心的网络,连接所在的机器之间,复制庞大的数据集。消耗网络和磁盘。
记录数据的更新:更新的很多,则记录成本很高。
4、RDD容错方式
所有的RDD知道自己的是从哪来的,并记录自己的数据是如何生成的,通过重新计算来生成原来丢失的数据。

RDD容错处理方式和传统容错处理方式的比较--(视频笔记)

标签:

原文地址:http://www.cnblogs.com/isenhome/p/5083555.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!