标签：
细谈RDD的弹性
弹性之一：自动的进行内存和磁盘数据存储的切换
弹性之二：基于Lineage（血缘）的高效容错
弹性之三：Task如果失败会自动进行特定次数的重试
弹性之四：Stage如果失败会自动进行特定次数的重试，而且只会计算失败的分片
弹性之五：checkpoint和persist
Checkpoint是比较重量级的操作，RDD操作，一般每次都会产生新的RDD，除了最后一个action操作触发作业以外。但是有时候，链条比较长或者计算比较笨重，考虑把数据放到磁盘上，这就是Checkpoint。
Persist是在内存或磁盘里复用。
弹性之六：数据调度弹性:DAG、Task和资源管理无关
弹性之七：数据分片的高度弹性
标签：
原文地址：http://www.cnblogs.com/zlslch/p/5887484.html
