TaskScheduler 原理： 1. DAGScheduler 在提交Taskset给底层调度器的时候是面向接口TaskScheduler的， 这符合面向对象中依赖抽象原则，带来底层资源调度器的可插拔性， 导致Spark可以运行在众多的资源高度器模式上。例如： Standalone, Yarn, ...
分类：
其他好文 时间：
2017-12-24 20:10:34
阅读次数：
147
# 进程：系统进行资源调度的基本单元； # 一个程序在一个数据集上一次动态执行过程； # 进程：程序，数据集，进程控制块； # 1.程序：描述进程功能的完成； # 2.数据集：程序在执行过程中需要使用的资源； # 3.进程控制块：描述进程执行的变化过程，用来系统控制管理进程； # 线程：CPU调度的... ...
分类：
编程语言 时间：
2017-12-17 23:44:53
阅读次数：
157
来自于阿里云 https://edu.aliyun.com/course/31/learn?spm=5176.8764728.0.0.qDnlmZ#lesson/618 课时一：分布式调度系统的现状 分布式调度的两大任务：任务调度和资源调度 任务调度：大量的计算任务、任务如何让切分、数据如何分割运算 ...
分类：
其他好文 时间：
2017-11-16 17:18:35
阅读次数：
109
上篇文章谈到Driver节点和Executor节点，但是如果想要运行Driver节点和Executor节点，就不能不说spark的集群管理器。spark的集群管理器大致有三种，一种是自带的standalone独立集群管理器，一种是依赖于Hadoop的资源调度器YARN，还有一种就是Apache项目的 ...
分类：
其他好文 时间：
2017-11-04 13:31:08
阅读次数：
216
操作系统本质上是一个应用程序，他负责硬件资源调度，文件系统管理等最底层的工作。 而shell是系统中一个特别的应用程序。之所以特别，是因为用户一切的操作都是经由shell来实现的。 和我们直接进行交互的始终只有shell程序而已。他是一个命令行解析器，获取用户的输入，然后执行相关操作。 用户和she ...
分类：
系统相关 时间：
2017-10-30 14:53:27
阅读次数：
186
Kubernetes是Google开源的容器集群管理系统。它构建于docker技术之上，为容器化的应用提供资源调度、部署运行、服务发现、扩容缩容等整一套功能，本质上可看作是基于容器技术的mini-PaaS平台。本文旨在梳理Kubernetes的架构、概念及基本工作流，并且通过运行一个简单的示例应用来 ...
分类：
Web程序 时间：
2017-09-25 11:43:14
阅读次数：
239
yarn的资源管理架构 RM节点 资源调度算法 参数<property>yarn.resourcemanager.scheduler.class</property> capacity scheduler，默认值<value>org.apache.hadoop.yarn.server.resourc ...
分类：
其他好文 时间：
2017-09-03 17:09:19
阅读次数：
150
Hadoop集群环境搭建(一) 1集群简介 HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起 HDFS集群： 负责海量数据的存储，集群中的角色主要有 NameNode / DataNode YARN集群： 负责海量数据运算时的资源调度，集群中的角色主 ...
分类：
其他好文 时间：
2017-08-25 11:02:00
阅读次数：
252
计算节点需要配置的主要是nova和neutron的客户端，控制节点在进行资源调度及配置时需要计算节点配合方能实现的，计算节点配置内容相对较少，实际生产环境中，需要配置的计算节点数量相当庞大，那么我们就需要借助ansible或者puppet这样的自动化工具进行了，废话不多讲，直接进..
分类：
其他好文 时间：
2017-08-20 10:09:50
阅读次数：
256
/etc/sysconfig/network-scripts/ifcfg-eth0
servicenetworkrestart
性能调优的王道是优化资源调度，或者给更多的资源进行调度
/server/spark/spark-submit
--classcn.spark.sparkest.core.WordCountCluster
--num-executors3
--driver-memory100m
--executor-memory100m
--ex..
分类：
其他好文 时间：
2017-06-26 22:38:18
阅读次数：
115
