在 OS X Yosemite 中部署资源统一管理与调度平台Mesos
分类:
其他好文 时间:
2015-07-14 21:58:22
阅读次数:
160
Spark运行模式Spark 有很多种模式,最简单就是单机本地模式,还有单机伪分布式模式,复杂的则运行在集群中,目前能很好的运行在 Yarn和 Mesos 中,当然 Spark 还有自带的 Standalone 模式,对于大多数情况 Standalone 模式就足够了,如果企业已经有 Yarn 或者 Mesos 环境,也是很方便部署的。
local(本地模式):常用于本地开发测试,本地还分...
分类:
其他好文 时间:
2015-07-10 13:34:15
阅读次数:
154
Spark应用概念Spark应用(Application)是用户提交的应用程序。执行模式又Local、Standalone、YARN、Mesos。根据Spark Application的Driver Program是否在集群中运行,Spark应用的运行方式又可以分为Cluster模式和Client模式。
下面是Spark应用涉及的一些基本概念:
Application:Spark 的应用...
分类:
其他好文 时间:
2015-07-08 16:39:37
阅读次数:
178
利用vSphere调整各台虚拟机后,重新启动mesos,让其启动docker,并为每个container分配cpu和mem,但每次都有一个TASK_LOST.查看mesos slave的log,发现下面的error:WARNING: Your kernel does not support swap...
分类:
其他好文 时间:
2015-07-06 19:24:28
阅读次数:
183
framework 是实际干活的,可以理解为 mesos 上跑的 应用,需要先注册到 master 上。
长期运行的服务
Aurora
利用 mesos 调度安排的任务,保证任务一直在运行。
提供 REST 接口,客户端和 webUI(8081 端口)
Marathon
一个 PaaS 平台。
保证任务一直在运行。如果停止了,会自动重启一个新的任务。...
分类:
其他好文 时间:
2015-06-30 18:18:27
阅读次数:
122
Mesos 的 配置项 可以通过启动时候传递参数或者配置目录下文件的方式给出(推荐方式,一目了然)。
分为三种类型:通用项(master 和 slave 都支持),只有 master 支持的,以及只有 slave 支持的。
通用项
--ip=VALUE 监听的 IP 地址--firewall_rules=VALUE endpoint 防火墙规则,VALUE 可以是
JSON...
分类:
其他好文 时间:
2015-06-29 17:05:12
阅读次数:
498
首先,Mesos 是一个资源调度框架,并非一整套完整的应用管理平台,本身是不能干活的。但是它可以比较容易的跟各种应用管理或者中间件平台整合,一起工作,提高资源使用效率。
架构
master-slave
架构,master 使用
zookeeper 来做 HA。
master 单独运行在管理节点上,slave 运行在各个计算任务节点上。
各种具体任务的管理平台,即...
分类:
其他好文 时间:
2015-06-23 20:07:03
阅读次数:
213
简介
Mesos 是一个集群资源的调度工具,Apache 开源项目,它的定位是要做数据中心操作系统的内核。目前由 Mesosphere 公司维护,更多信息可以自行查阅 Mesos 项目地址或 Mesosphere。
Marathon 是可以跟 Mesos 一起协作的一个 framework,用来运行持久性的应用。
安装
一共需要安装四种组件,mesos-master、mar...
分类:
其他好文 时间:
2015-06-19 21:39:59
阅读次数:
598
容器技术最近很火,各家项目纷纷提出自己的支持方案,比如 OpenStack、CF、Mesos,以及一堆本身就基于容器的平台方案,更是跟容器技术脱不开关系。
这也直接导致了暧昧已久的 IaaS 和 PaaS 开始正面的跨界冲突。
在 IaaS 看来,做 PaaS 无非就是提供几个应用模板嘛,原来虚机不好做,现在用 Docker,瞬间给你把服务整起来。更别提还有最近出来搅局的 hyper,...
分类:
其他好文 时间:
2015-06-18 13:44:43
阅读次数:
152
与其他几项不同的是 A. Mesos B. Mongodb C. Corona D. Borg E. YARN注:其他几项都是资源统一管理系统或者资源统一调度系统,而 Mongodb一种非关系型数据库。2、[java基础] 以下不属于线程安全的数据结构是 A. HashMap B. HashTabl...
分类:
其他好文 时间:
2015-06-15 09:07:06
阅读次数:
162