缓存系统:memcached(group cache)、redis、mongodb、Couchbase(CouchDB、Membase、CouchOne)http缓存:varnish、nginx、traficserver、squid负载均衡:lvs、f5、nginx代理:nginx集群操作系统(运行在单机系统上):Mesos集群管理:KubernetesWeb服务器:nginx、lighthttp...
分类:
其他好文 时间:
2016-01-25 17:21:45
阅读次数:
299
在Mesos和YARN中,都用到了dominant resource fairness算法(DRF),它不同于hadoop基于slot-based实现的fair scheduler和capacity scheduler,论文阅读:Dominant Resource Fairness: Fair Al...
分类:
编程语言 时间:
2016-01-17 16:17:02
阅读次数:
443
Docker的飞速发展已经无需多言了,怎么管理Docker,编排Docker的也存在最够多的工具,但是总觉得没有触及痛点,所以才有数据中心mesos存在的必要,那么mesos是什么,以及mesos能做什么呢,会在本文简要介绍。这里先放一张自己对于mesos的理解以及使用的思路,如有偏颇还望指正..
分类:
其他好文 时间:
2016-01-08 00:37:25
阅读次数:
328
SparkStandalone模式安装SparkStandalone集群手动启动集群集群创建脚本提交应用到集群创建Spark应用资源调度及分配监控与日志与Hadoop共存配置网络安全端口高可用性基于Zookeeper的Master本地系统的单节点恢复除了运行在mesos或yarn集群管理器中,spa...
分类:
其他好文 时间:
2016-01-05 23:55:55
阅读次数:
508
背景介绍Spark有多种集群运行模式,例如:Standalone,Yarn,Mesos。下面就说一下如何在Mesos上运行Spark,这也是官方推荐的一种运行方式。在运行Spark之前咱们先简略介绍一下Mesos。Mesos计算框架是一个集群管理器,提供了有效的、跨分布式的应用或框架的资源隔离和共享...
分类:
其他好文 时间:
2015-12-22 17:43:04
阅读次数:
180
欢迎试用Linker Networks(www.linkernetworks.com)的领科云,一个基于Mesos Docker的混合云平台。http://marketplace.linkernetworks.com/在本章节,我们在设计模型的时候,并不考虑任何的应用关系,从一个原子的应用开始。我们...
分类:
数据库 时间:
2015-12-07 22:11:29
阅读次数:
368
FROM java:openjdk-8ENV HADOOP_HOME /opt/spark/hadoop-2.6.0ENV MESOS_NATIVE_LIBRARY /opt/libmesos-0.22.1.soENV SBT_VERSION 0.13.8ENV SCALA_VERSION 2.11...
分类:
其他好文 时间:
2015-11-27 14:43:14
阅读次数:
162
在构建基于容器的私有云以及相应的持续发布时,还需要解决这些基础问题:容器日志如何收集?Mesos 还是 K8s?如何保证 Registry 镜像Pull/Push安全?如何保证 Marathon API 和 Docker API 调用安全?
分类:
其他好文 时间:
2015-11-20 19:05:43
阅读次数:
251
1.地址规划192.168.1.110master1192.168.1.111master2192.168.1.112master3192.168.1.115salve1192.168.1.116salve2Master节点:1.关闭防火墙systemctlstopfirewalld&&systemctldisablefirewalld2.关闭selinuxsetenforce03.安装mesosphere源rpm-ivh/mesosphere-el-repo-..
分类:
其他好文 时间:
2015-11-10 19:40:20
阅读次数:
340
mesos是什么呢?一个分布式调度框架,让你编写代码时面对整个集群像面对一台机器那么简单。所有的运行,资源调度都可以由它来帮你搞掂。1.mesos安装有两种方式:1)参考官网的getstart,下载源码然后进行编译http://mesos.apache.org/gettingstarted/这个就不...
分类:
其他好文 时间:
2015-11-05 13:18:22
阅读次数:
288