一、简介 于Worker Actor于，每次LaunchExecutor这将创建一个CoarseGrainedExecutorBackend流程。Executor和CoarseGrainedExecutorBackend是1对1的关系。也就是说集群里启动多少Executor实例就有多少Coarse....
分类：
其他好文 时间：
2015-09-22 20:28:22
阅读次数：
203
Spark的运行模式多种多样，在单机上既可以以本地模式运行，也可以以伪分布式模式运行。而当以分布式的方式运行在Cluster集群中时，底层的资源调度可以使用Mesos 或者是Hadoop Yarn ，也可以使用Spark自带的Standalone Deploy模式Spark处于活跃的开发过程中，代码...
分类：
其他好文 时间：
2015-09-08 18:11:27
阅读次数：
304
hadoop调度器的作用是将系统中空闲的资源按一定策略分配给作业。调度器是一个可插拔的模块，用户可以根据自己的实际应用要求设计调度器。Hadoop中常见的调度器有三种，分别为：1.基于队列的FIFO(先进先出) hadoop默认的资源调度器。优点：简单明了。缺点：忽略了不同作业的需求差异。2.计算....
分类：
其他好文 时间：
2015-09-06 16:18:37
阅读次数：
270
Spark之命令 1.spark运行模式有4种： a.local 多有用测试, b. standalone：spark 集群模式，使用spark自己的调度方式。 c. Yarn: 对MapreduceV1升级的经典版本，支持spark。 d.Mesos:类似Yarn的资源调度框架，提供了有效的、跨分...
分类：
其他好文 时间：
2015-08-26 23:54:32
阅读次数：
404
LRU(Least Recently Used)是一种很常用的资源调度策略，与20/80原则契合，在资源达到上限时倾向保留最近经常访问的资源对象。 Android中基于LRU实现了缓存对象，即LruCache，有两处实现...
分类：
系统相关 时间：
2015-08-16 00:20:13
阅读次数：
222
摘要：7月30日，七牛数据平台工程师王团结就七牛内部使用的数据平台，深入分享了该团队在Flume、Kafka、Spark以及Streaming上的实践经验，并讲解了各个工具使用的注意点。
继“ YARN or Mesos？Spark痛点探讨”、“ Mesos资源调度与管理的深入分享与交流”、及“ 主流SQL
on Hadoop框架选择”之后，CSDN Spark微信用户群邀请了王团结...
分类：
微信 时间：
2015-07-31 09:07:00
阅读次数：
297
Spark使用Akka作为各种功能和组件之间的通信工具。同样，在资源调度过程中也使用其作为消息传递系统。之前，在分析了Apache Spark-1.0.0资源调度过程中，明确了主要消息的传递过程和引起的相关动作，本文主要分析Spark资源调度过程中所用到的Akka通信的初始化过程。（I）Job相关（...
分类：
Web程序 时间：
2015-07-30 18:56:06
阅读次数：
520
前面提到，submitMissingTask是分发任务的开始，首先submitMissingTasks判断该stage是否为shuffle map stage，是则getPreferredLocs，实例化一个ShuffleMapTasks返回一组task集合，否则是final stage，getPr...
分类：
Web程序 时间：
2015-07-26 22:37:00
阅读次数：
645
对于ResultTask，直接执行func操作，最后告知任务是否执行完成；而对于ShuffleMapTask，则需要将中间结果存储到实例化DirectTaskResult，以备下一个task使用，同时还要返回实例化的MapStatus。 Executor.run中，当Task执行完毕调用execBa...
分类：
Web程序 时间：
2015-07-26 22:36:49
阅读次数：
203
前面说到向executorActor(task.executorID)发送LaunchTask(task)消息，在CoarseGrainedExecutorBackend中定义receive接收launchTask消息，执行executor.launchTaskoverride def receiv...
分类：
Web程序 时间：
2015-07-26 22:35:58
阅读次数：
342
