码迷,mamicode.com
首页 > 系统相关 > 详细

CacheManager 概述

时间:2018-01-11 22:13:38      阅读:194      评论:0      收藏:0      [点我收藏+]

标签:没有   cache   manager   缓存   会计   数据   div   调用   point   

1. CacheManager 管理缓存,而缓存可以是基于内存的缓存,也可以是基于磁盘的缓存

2. CacheManager 需要通过 BlockMananger 来操作数据;

3. 当 Task 运行的时候会调用 RDD 的 compute 方法来进行计算,而 compute 方法会调用  iterator 方法。

4. 具体 CacheManager 在获得缓存数据的时候会通过 BlockManage 来抓到数据

5. 如果 CacheManager 没有通过 BlockMananger 获得缓存内容的话,会查看 RDD 是否进行了 checkpoint 就会计算,是的话就读取 checkpoint  的内容, 否则就进行计算

CacheManager 概述

标签:没有   cache   manager   缓存   会计   数据   div   调用   point   

原文地址:https://www.cnblogs.com/langfanyun/p/8270436.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!