总览二者 在Spark中，有Yarn-Client和Yarn-Cluster两种模式可以运行在Yarn上，通常Yarn-Cluster适用于生产环境，而Yarn-Clientr更适用于交互，调试模式，以下是它们的区别 Spark插拨式资源管理 Spark支持Yarn,Mesos,Standalone ...
分类：
其他好文 时间：
2018-05-08 14:31:41
阅读次数：
176
实践中会发现，生产环境中使用单个 Docker 节点是远远不够的，搭建 Docker 集群势在必行。然而，面对 Kubernetes, Mesos 以及 Swarm 等众多容器集群系统，我们该如何选择呢？它们之中，Swarm 是 Docker 原生的，同时也是最简单，最易学，最节省资源的，比较适合中 ...
分类：
其他好文 时间：
2018-04-21 22:26:48
阅读次数：
222
一提mesos，很多人知道双层调度，但是大多数理解都在表面，不然试一下下面五个问题。 问题一：如果有两个framework，一万个节点，按说应该平均分配给两个framework，怎么个分法？一人一台这样分，还是前五千给一人，后五千给第二个人，还是随机分，随机分怎么个分法？ 问题二：在没有reserv ...
分类：
其他好文 时间：
2018-03-15 11:17:23
阅读次数：
220
介绍 企业通过使用容器，日益实现成本节约、解决部署问题并改进 DevOps 和生产操作。 通过创建 Azure 容器服务、Azure Service Fabric 等产品，同时与 Docker、Mesosphere 和 Kubernetes 等行业领先者合作，Microsoft 发布了适用于 Win ...
分类：
Web程序 时间：
2018-03-14 12:45:52
阅读次数：
1444
前言相信Docker技术大家都有所了解，单个Docker能发挥的作用毕竟有限，也不便于管理，所以Docker得组集群来使用才能发挥强大的技术优势。既然要组集群那就涉及诸如Docker的资源调度、管理等等一系列问题。目前涉及Docker集群的三个主要的技术无外乎Swarm、Kubernetes、Mesos三种。从本文开始作者将会一一实践这几种主要的Docker集群技术，话不多说，现在开始。注意：作者
分类：
其他好文 时间：
2018-02-28 11:20:26
阅读次数：
178
说明：基于环境mesos+marathon+docker+prometheus+grafana监控tomcat一、配置环境(1)dockerfilefromtomcatCOPYtomcat-users.xml/usr/local/tomcat/conf/COPYserver.xml/usr/local/tomcat/conf/COPYcontext.xml/usr/local/tomcat/web
分类：
其他好文 时间：
2018-02-26 13:32:10
阅读次数：
1895
本文分两部分，第一部分是手动计划任务的方式构建Github上的Docker程序，第二部分是用Github webhook Trigger一个自动构建任务。 Jenkins采用2.5版本Docker采用1.7.1代码托管使用的Github官网系统为IBM Bluemix提供的Cent6.7，服务器地址 ...
分类：
其他好文 时间：
2018-02-23 17:20:18
阅读次数：
302
mesos原理与架构 首先，再次需要强调 Mesos 自身只是一个资源调度框架，并非一整套完整的应用管理平台，所以只有 Mesos 自己是不能干活的。但是基于 Mesos，可以比较容易地为各种应用管理框架或者中间件平台（作为 Mesos 的应用）提供分布式运行能力；同时多个框架也可以同时运行在一个 ...
分类：
其他好文 时间：
2018-02-13 12:27:17
阅读次数：
211
听过不少人在讨论 Mesos，然而并不是很明白 Mesos 到底能够解决什么问题，使用场景是怎样的，周伟涛（国内较早一批接触使用 Docker，Mesos 等技术的开发者）用一句话形容它， Mesos 能够管理每台机器的 CPU，内存等资源，让你像操纵单个资源池一样来操纵整个数据中心。 周伟涛，现数 ...
分类：
其他好文 时间：
2018-01-13 11:04:43
阅读次数：
177
TaskScheduler 原理： 1. DAGScheduler 在提交Taskset给底层调度器的时候是面向接口TaskScheduler的， 这符合面向对象中依赖抽象原则，带来底层资源调度器的可插拔性， 导致Spark可以运行在众多的资源高度器模式上。例如： Standalone, Yarn, ...
分类：
其他好文 时间：
2017-12-24 20:10:34
阅读次数：
147
