标签:
前提storageLevel != null
读源码查看
先看ietrator,
查看storageLevel
看sparkEnv.getMemoryManger,通过block manager来操作具体的storage,a list of partitions;RDD获取缓存实质上通过block manager 来获取,partition经过处理后的数据。缓存是block级别的。
RDD的iterator中的缓存处理内幕 -- (视频笔记)
标签:
原文地址:http://www.cnblogs.com/isenhome/p/5088191.html