工作原理图 源码分析： 1、submitTasks 在submitTasks方法中最后调用backend.reviveOffers()进行下一步的task调度分配 1 overridedefsubmitTasks(taskSet:TaskSet){ 2 ... ...
分类：
其他好文 时间：
2016-04-19 13:58:53
阅读次数：
206
Spark运行原理自我理解：
（1） 首先程序有RDD
Objects分解为DAG有向无环图
（2） 提交DAGScheduler，根据shuffer将DAG分解为一组taskset，即stages
（3） Taskset提交TaskScheduler，每个taskset在分解为多个task，即一个task就是一个split分区
...
分类：
其他好文 时间：
2016-04-15 12:21:40
阅读次数：
552
各位看官，上一篇《Spark源码分析之Stage划分》详细讲述了Spark中Stage的划分，下面，我们进入第三个阶段--Stage提交。 Stage提交阶段的主要目的就一个，就是将每个Stage生成一组Task，即TaskSet，其处理流程如下图所示： 与Stag
分类：
其他好文 时间：
2016-03-14 08:20:36
阅读次数：
288
在前四篇博文中，我们分析了Job提交运行总流程的第一阶段Stage划分与提交，它又被细化为三个分阶段： 1、Job的调度模型与运行反馈； 2、Stage划分； 3、Stage提交：对应TaskSet的生成。 Stage划分与提交阶段主要
分类：
其他好文 时间：
2016-03-14 08:17:53
阅读次数：
1416
在《Spark源码分析之Job提交运行总流程概述》一文中，我们提到了，Job提交与运行的第一阶段Stage划分与提交，可以分为三个阶段： 1、Job的调度模型与运行反馈； 2、Stage划分； 3、Stage提交：对应TaskSet的生成。
分类：
其他好文 时间：
2016-03-14 08:16:44
阅读次数：
274
几个基本概念：（1）job：包含多个task组成的并行计算，往往由action催生。（2）stage：job的调度单位。（3）task：被送到某个executor上的工作单元。（4）taskSet：一组关联的，相互之间没有shuffle依赖关系的任务组成的任务集。一个应用程序由一个driver pr...
分类：
其他好文 时间：
2015-10-03 18:09:25
阅读次数：
242
观察发现4核CPU，只有第1个核心（CPU#0）非常忙，其他都处于idle状态。不了解Linux是如何调度的，但目前显然有优化的余地。除了处理正常任务，CPU#0还需要处理每秒网卡中断。因此，若能将CPU#0分担的任务摊派到其他CPU核心上，可以预见，系统的处理能力将有更大的提升。两个名词SMP (...
分类：
系统相关 时间：
2015-08-30 19:21:32
阅读次数：
276
taskset -c 9,10 bash domain_analysis.sh && /home/work/odp/php/bin/php hourly_localdns_hijack.phpnice -n 19bash domain_analysis.sh && /home/work/odp/ph...
分类：
其他好文 时间：
2015-08-20 20:42:58
阅读次数：
165
Ubuntu系统进程绑定CPU核作者：chszs，版权所有，未经同意，不得转载。博主主页：http://blog.csdn.net/chszs本文讲述如何在Ubuntu系统中，把指定的进程绑定到指定的CPU核运行。而通常是由操作系统负责管理进程和线程的调度，但是这种情况下是不清楚由哪个CPU核运行你的进程，因为操作系统的调度是基于资源的可用性进行判断的。可以这样，把指定的CPU核绑定到你的进程。ta...
分类：
系统相关 时间：
2015-08-04 17:23:47
阅读次数：
226
DAGSchedulerDAGScheduler的主要任务是基于Stage构建DAG，决定每个任务的最佳位置
记录哪个RDD或者Stage输出被物化
面向stage的调度层，为job生成以stage组成的DAG，提交TaskSet给TaskScheduler执行
重新提交shuffle输出丢失的stage
每一个Stage内，都是独立的tasks，他们共同执行同一个compu...
分类：
其他好文 时间：
2015-07-15 19:25:54
阅读次数：
1476
