大数据通用处理平台 Spark Flink Hadoop 分布式存储 HDFS 资源调度 Yarn Mesos 机器学习工具 Mahout Spark Mlib TensorFlow (Google 系) Amazon Machine Learning DMTK (微软分布式机器学习工具) 数据分析 ...
分类:
其他好文 时间:
2016-09-08 23:05:28
阅读次数:
188
1. 前言 同其他大部分分布式系统一样,Apache Mesos为了简化设计,也是采用了master/slave结构,为了解决master单点故障,将master做得尽可能地轻量级,其上面所有的元数据可以通过各个slave重新注册而进行重构,故很容易通过zookeeper解决该单点故障问题。 (什么 ...
分类:
其他好文 时间:
2016-09-05 20:48:21
阅读次数:
173
任务: go lang 学习 docker,k8s,mesos等编排工具 ceph源码 优先级: ***** **** ***** ...
分类:
其他好文 时间:
2016-09-04 23:46:41
阅读次数:
258
Below is a set of endpoints available on a Mesos agent. These endpoints are reachable at the address http://ip:port/endpoint. For example, http://agen ...
参考资料: 官方文档:http://mesos.apache.org/documentation 中文翻译:http://mesos.mydoc.io/ GitHub:https://github.com/apache/mesos/tree/master 董的博客:http://dongxichen ...
分类:
其他好文 时间:
2016-08-19 11:10:46
阅读次数:
333
1、熟悉Linux(redhat/centos等)操作系统原理,包括进程、网络及IO等子系统,熟练掌握常用的Linux命令;2、熟悉docker容器技术,了解容器集群管理工具(Kubernetes、Mesos、Marathon、OpenStack至少熟悉一种);3、了解虚拟化技术,如vmware,k ...
分类:
其他好文 时间:
2016-08-07 18:40:11
阅读次数:
130
DockerContainerizer的实现在文件src/slave/containerizer/docker.cpp中 ...
分类:
其他好文 时间:
2016-08-01 01:42:05
阅读次数:
192
在前文Mesos源码分析(8): Mesos-Slave的初始化中,Mesos-Slave接收到RunTaskMessage消息,会调用Slave::runTask. void Slave::runTask( const UPID& from, const FrameworkInfo& framew... ...
分类:
其他好文 时间:
2016-08-01 01:38:14
阅读次数:
203
根据Mesos源码分析(6): Mesos Master的初始化中的代码分析,当Mesos-Master接收到launchTask消息的时候,会调用Master::launchTasks函数。 void Master::launchTasks( const UPID& from, const Fra... ...
分类:
其他好文 时间:
2016-08-01 00:13:52
阅读次数:
203
zookeeper集群安装1、下载wgethttp://mirrors.cnnic.cn/apache/zookeeper/stable/zookeeper-3.4.8.tar.gz2、解压mkdir/usr/local/zookeeper&&tarzxvfzookeeper-3.4.8.tar.gz&&mvzookeeper-3.4.8/*/usr/local/zookeeper**rm-rfzookeeper-3.4.83、创建配置文件Zo..
分类:
其他好文 时间:
2016-07-31 00:26:59
阅读次数:
211