码迷,mamicode.com
首页 > 其他好文 > 详细

Spark RDD弹性7点

时间:2016-04-21 23:36:29      阅读:222      评论:0      收藏:0      [点我收藏+]

标签:

1、自动的进行磁盘数据和内存之间的无缝切换

2、基于lineage的高效容错,第n个出错,会从第n-1个开始执行

3、task失败会进行特定次数的重试

4、stage失败会自动进行特定次数的重试,并且只运行计算失败的数据分片

5、checkpoint(类似单机游戏里的存档)和presist,持久化cache

6、数据调度弹性,DAG TASK与资源管理无关

7、数据分片的高度弹性,repartition,1W个大的,变成10W个小的, 10W个小的变成1W个大的。

Spark RDD弹性7点

标签:

原文地址:http://www.cnblogs.com/kabka/p/5419227.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!