分布式系统是难于理解、设计、构建 和管理的,他们将比单个机器成倍还要多的变量引入到设计中,使应用程序的根源问题更难发现。SLA(服务水平协议)是衡量停机和/或性能下降的标准,大多数现代应用程序有一个期望的...
分类:
其他好文 时间:
2015-08-11 14:20:00
阅读次数:
476
http://www.csdn.net/article/2015-07-31/2825348【编者按】时下,对于大部分IT玩家来说,Docker和Mesos都是熟悉和陌生的:熟悉在于这两个词无疑已成为大家讨论的焦点,而陌生在于这两个技术并未在生产环境得到广泛使用,因此很多人仍然不知道它们究竟有什么优...
分类:
其他好文 时间:
2015-08-04 22:38:24
阅读次数:
125
【摘要】虽然 Docker 和 Mesos 已成为不折不扣的 Buzzwords ,但是对于大部分人来说它们仍然是陌生的,下面我们就一起领略 Mesos 、Docker 和 Go 配合带来的强大破坏力,如何通过 300 行代码打造一个比特币开采系统。时下,对于大部分 IT 玩家来说, Docker 和 Mesos 都是熟悉和陌生的:熟悉在于这两个词无疑已成为大家讨论的焦点,而陌生在于这两个技术并未在...
分类:
其他好文 时间:
2015-08-03 22:44:13
阅读次数:
177
摘要:7月30日,七牛数据平台工程师王团结就七牛内部使用的数据平台,深入分享了该团队在Flume、Kafka、Spark以及Streaming上的实践经验,并讲解了各个工具使用的注意点。
继“ YARN or Mesos?Spark痛点探讨”、“ Mesos资源调度与管理的深入分享与交流”、及“ 主流SQL
on Hadoop框架选择”之后,CSDN Spark微信用户群邀请了王团结...
分类:
微信 时间:
2015-07-31 09:07:00
阅读次数:
297
在 OS X Yosemite 中部署资源统一管理与调度平台Mesos
分类:
其他好文 时间:
2015-07-14 21:58:22
阅读次数:
160
Spark运行模式Spark 有很多种模式,最简单就是单机本地模式,还有单机伪分布式模式,复杂的则运行在集群中,目前能很好的运行在 Yarn和 Mesos 中,当然 Spark 还有自带的 Standalone 模式,对于大多数情况 Standalone 模式就足够了,如果企业已经有 Yarn 或者 Mesos 环境,也是很方便部署的。
local(本地模式):常用于本地开发测试,本地还分...
分类:
其他好文 时间:
2015-07-10 13:34:15
阅读次数:
154
Spark应用概念Spark应用(Application)是用户提交的应用程序。执行模式又Local、Standalone、YARN、Mesos。根据Spark Application的Driver Program是否在集群中运行,Spark应用的运行方式又可以分为Cluster模式和Client模式。
下面是Spark应用涉及的一些基本概念:
Application:Spark 的应用...
分类:
其他好文 时间:
2015-07-08 16:39:37
阅读次数:
178
利用vSphere调整各台虚拟机后,重新启动mesos,让其启动docker,并为每个container分配cpu和mem,但每次都有一个TASK_LOST.查看mesos slave的log,发现下面的error:WARNING: Your kernel does not support swap...
分类:
其他好文 时间:
2015-07-06 19:24:28
阅读次数:
183
framework 是实际干活的,可以理解为 mesos 上跑的 应用,需要先注册到 master 上。
长期运行的服务
Aurora
利用 mesos 调度安排的任务,保证任务一直在运行。
提供 REST 接口,客户端和 webUI(8081 端口)
Marathon
一个 PaaS 平台。
保证任务一直在运行。如果停止了,会自动重启一个新的任务。...
分类:
其他好文 时间:
2015-06-30 18:18:27
阅读次数:
122
Mesos 的 配置项 可以通过启动时候传递参数或者配置目录下文件的方式给出(推荐方式,一目了然)。
分为三种类型:通用项(master 和 slave 都支持),只有 master 支持的,以及只有 slave 支持的。
通用项
--ip=VALUE 监听的 IP 地址--firewall_rules=VALUE endpoint 防火墙规则,VALUE 可以是
JSON...
分类:
其他好文 时间:
2015-06-29 17:05:12
阅读次数:
498