码迷,mamicode.com
首页 > 其他好文 > 详细

RDD的iterator中的缓存处理内幕 -- (视频笔记)

时间:2015-12-30 13:04:21      阅读:141      评论:0      收藏:0      [点我收藏+]

标签:

前提storageLevel != null

 读源码查看

先看ietrator,

查看storageLevel

看sparkEnv.getMemoryManger,通过block manager来操作具体的storage,a list of partitions;RDD获取缓存实质上通过block manager 来获取,partition经过处理后的数据。缓存是block级别的。

 

RDD的iterator中的缓存处理内幕 -- (视频笔记)

标签:

原文地址:http://www.cnblogs.com/isenhome/p/5088191.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!