码迷,mamicode.com
首页 > 其他好文 > 详细

《深入理解Spark-核心思想与源码分析》(四)第三章存储体系

时间:2019-01-25 20:05:21      阅读:138      评论:0      收藏:0      [点我收藏+]

标签:源码分析   配置信息   manager   避免   任务   提交   lock   系统   性能   

天行健,君子以自强不息;地势坤,君子以厚德载物。——《易经》

本章导读

  Spark的初始化阶段、任务提交阶段、执行阶段,始终离不开存储体系。

  Spark为了避免Hadoop读写磁盘的I/O操作成为性能瓶颈,优先将配置信息、计算结果等数据存入内存,极大的提升了系统的执行效率。

4.1 存储体系的概述

  4.1.1 块管理器BlockManager的实现

 

《深入理解Spark-核心思想与源码分析》(四)第三章存储体系

标签:源码分析   配置信息   manager   避免   任务   提交   lock   系统   性能   

原文地址:https://www.cnblogs.com/sunrunzhi/p/10321249.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!