（1）MR程序提交到客户端所在的节点。（2）YarnRunner向ResourceManager申请一个Application。（3）RM将该应用程序的资源路径返回给YarnRunner。（4）该程序将运行所需资源提交到HDFS上。（5）程序资源提交完毕后，申请运行mrAppMaster。（6）RM ...
分类：
其他好文 时间：
2020-07-04 15:14:37
阅读次数：
54
在生产环境中遇到了这种情况：spark程序需要处理输入是多个目录，输出也是多个目录。但是处理的逻辑都是相同的。使用方法经历多次修改，最终成功完成任务。其中涉及到spark多job提交和spark多个目录同时处理，在此记录一下。 程序中所有异常处理，建议都在函数里面处理好，不要直接写一些处理代码。这样 ...
分类：
数据库 时间：
2020-06-27 00:17:57
阅读次数：
80
当job提交至yarn之后，就会开始调度运行map任务，这里开始讲解map输入的源码分析。一个map任务的入口就是MapTask.class中的run()方法1、首先看看MapTask.run()方法MapTask.class//---------------------------------MapTask.javapublicvoidrun(JobConfjob,TaskUmbilicalPr
分类：
其他好文 时间：
2019-10-24 20:00:59
阅读次数：
69
一、源码分析1、提交job的入口通过job.waitForCompletion(true)完成job的提交以及运行，下面从这个方法入手分析源码。//-----------------job.javapublicbooleanwaitForCompletion(booleanverbose)throwsIOException,InterruptedException,ClassNotFoundExc
分类：
其他好文 时间：
2019-10-24 17:07:02
阅读次数：
95
1.1.1.Executor进程专属 如图所示: 1.1.2. 支持多种资源管理器 如图所示: 1.1.3. Job提交就近原则 如图所示: 1.1.4. 移动程序而非移动数据的原则执行 如图所示: ...
分类：
其他好文 时间：
2019-09-11 09:25:00
阅读次数：
99
FIFO Scheduler是最简单也是最容易理解的调度器，它缺点是不适用于共享集群。大的应用可能会占用所有集群资源，这就导致其它应用被阻塞。在共享集群中，更适合采用Capacity Scheduler或Fair Scheduler，这两个调度器都允许大任务和小任务在提交的同时获得一定的系统资源。从执行过程图中可以看出，在FIFO 调度器中，小任务会被大任务阻塞。而对于Capacity调度器，有一个专门的队列用来运行小任务，但是为小任务专门设置一个队列会预先占用一定的集群资源，这就导致大任务的执行时间会落后于使用FIFO调度器时的时间。在Fair调度器中，我们不需要预先占用一定的系统资源，Fair调度器会为所有运行的job动态的调整系统资源。如下图所示，当第一个大job提交时，只有这一个job在运行，此时它获得了所有集群资源；当第二个小任务提交后，Fair调度器会分配一半资源给这个小任务，让这两个任务公平的共享集群资源。
需要注意的是，在Fair调度器图中，从第二个任务提交到获得资源会有一定的延迟，因为它需要等待第一个任务释放占用的Container。小任务执行完成之后也会释放自己占用
分类：
其他好文 时间：
2019-06-26 12:02:44
阅读次数：
141
上图是一个job的提交流程图，job提交的具体步骤如下一旦有action，就会触发DagScheduler.runJob来提交任务，主要是先生成逻辑执行图DAG，然后调用finalStage=newStage()来划分stage。newStage()的时候会调用finalRDD的getParentStages()；getParentStages()从finalRDD出发，反向visit逻辑执行图，
分类：
其他好文 时间：
2019-04-22 23:07:59
阅读次数：
335
第3章 MapReduce框架原理3.1 InputFormat数据输入3.1.1 切片与MapTask并行度决定机制3.1.2 Job提交流程源码和切片源码详解3.1.3 FileInputFormat切片机制3.1.4 CombineTextInputFormat切片机制3.1.5 Combin ...
分类：
其他好文 时间：
2019-02-16 00:07:17
阅读次数：
204
0. 说明 官方文档 Job Scheduling Spark 调度核心组件: 1. DagScheduler direct acycle graph , 有向无环图调度器 高级调度器，面向的是 stage ，为每个 job 计算 stage 的 DAG 图，跟踪 RDD 和 stage 的输出，找 ...
分类：
其他好文 时间：
2018-10-26 00:43:30
阅读次数：
147
spark job spark job提交 三级调度框架, DagSch,计算stage，提交阶段，将stage映射成taskset，提交taskset给tasksch。 TaskSch BackendSch setMaster("local[n]") n表示使用n个线程模拟的spark集群下的wo ...
分类：
其他好文 时间：
2018-10-12 23:39:15
阅读次数：
177
