码迷,mamicode.com
首页 > 其他好文 > 详细

SparkContext主构造函数代码提取

时间:2016-04-04 11:35:00      阅读:106      评论:0      收藏:0      [点我收藏+]

标签:

这是阅读sparkContext类的代码做的一个笔记。阅读这个类的时候,主要的任务就是搞清楚sparkContext是怎么构造的,java、C#的class的初始化都是放在一个方法中的,而scala的主构造函数代码几乎散落在真个sparkContext类中,这就需要我们将其整理出来,才能有条理的进行阅读工作。

 

sparkContext的主构造函数中作的主要的几件事情有:

1、各种解析conf(这个我没有统一收录,实在太多,如果要看,直接到sparkContext类搜索“conf”) 

2、sparkEnv的创建,以及他内部组件(ListenerBus、metrics system、blockmanager等)的初始化、start

(ListenerBus、metrics system的简介贴上 http://blog.csdn.net/allwefantasy/article/details/50449464 )

3、 TaskScheduler、DAGScheduler、SparkUI 的创建及start

 

 上代码笔记图:(SparkContext主构造函数代码提取)

技术分享 

 

SparkContext主构造函数代码提取

标签:

原文地址:http://www.cnblogs.com/key1309/p/5351545.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!