为了测试 mesos,搞了一个 centos7.1,使用最小化安装,然后自己安装了 net-tools,“开发工具”集。后来想装一下 DCOS Cli工具,结果发现 python 的 pip 不可用。 搜了一下,发现 Centos7自动的 python 版本为2.7.5,不带 openssl 加密, ...
分类:
编程语言 时间:
2017-12-15 15:05:59
阅读次数:
145
一.安装准备 本文档以mesos+marathon+zk高可用集群安装为例进行说明。 各主机配置 主机 IP 安装模块 host1 192.168.10.1 zk、mesos_m、mesos_s、marathon host2 192.168.10.2 zk、mesos_m、mesos_s host3 ...
分类:
其他好文 时间:
2017-11-27 16:47:15
阅读次数:
180
分布式系统实践 1. 如何把Docker镜像分发速度提升90+% https://mp.weixin.qq.com/s/eRBLAF0Kfcc5Uwu_55xghA 摘要: docker镜像的下载和普通的文件传输并没有本质的区别, 提高大规模文件传输效率的办法就是BT了, 这篇文章介绍了腾讯基于BT ...
分类:
其他好文 时间:
2017-11-10 21:48:15
阅读次数:
237
在技术方面,我自己热衷于 Open Source,写了很多 Open Source 的东西,擅长的是 Infrastructure 领域。Infrastructure 领域现在范围很广,比如说很典型的分布式 Scheduler、Mesos、Kubernetes,另外它和 Microservices ...
分类:
数据库 时间:
2017-10-16 16:43:32
阅读次数:
193
今天试用fnproject 之后自己有些思考,后面继续解决1. 目前测试是强依赖 dockerhub 的,实际可能不是很方便2. 如何与k8s 、mesos、docker swarm 集成3. security 如何做4. 现有基础设施改造5. 监控、服务追踪、日志的处理6. 持续集成如何做(版本,... ...
分类:
其他好文 时间:
2017-10-05 18:48:56
阅读次数:
797
记得几年前,用.net做分布式批处理的时候环境搭建很麻烦,虽然参数的分片算法、配置都搞定了,但是.net虚拟机的环境建立是个头疼的事: 现在讲讲基于Mesos怎么做由于.net的历史原因,mesos没有为.net封装wrapper(java/python都有,连js都有,唯独没有.net的),正要放 ...
分类:
其他好文 时间:
2017-10-05 14:39:30
阅读次数:
166
今天试用fnproject 之后自己有些思考,后面继续解决 1. 目前测试是强依赖 dockerhub 的,实际可能不是很方便 2. 如何与k8s 、mesos、docker swarm 集成 3. security 如何做 4. 现有基础设施改造 5. 监控、服务追踪、日志的处理 6. 持续集成如 ...
分类:
其他好文 时间:
2017-10-04 22:02:05
阅读次数:
317
采用rpm方式安装你了mesos,碰到zookeeper(采用了cloudera的zookeeper)的IP地址变化了,肿么办? 在master机器中: /etc/mesos/zk进行编辑修改zk路径改为zookeeper集群地址(注意,开头标志zk://,结尾添加/mesos即可,中间是zooke ...
分类:
其他好文 时间:
2017-10-01 20:31:19
阅读次数:
175
从 Mesos 到 Kubernetes 之前的调度框架是基于 Mesos 自研的。采用的语言是 Python。运行了大概两年多的时间了,也一直比较稳定。但随着业务的增长,现有的框架的问题逐渐暴露。 解决上述问题的方案有两个,一个是对现有系统进行改进重构,另一个是迁移到 Kubernetes。我们最 ...
分类:
Web程序 时间:
2017-09-30 13:30:48
阅读次数:
278
Spark的一大好处就是可以通过增加机器数量并使用集群模式运行,来扩展计算能力。Spark可以在各种各样的集群管理器(Hadoop YARN , Apache Mesos , 还有Spark自带的独立集群管理器)上运行,所以Spark应用既能够适应专用集群,又能用于共享的云计算环境。 Spark运行 ...
分类:
其他好文 时间:
2017-09-18 10:53:22
阅读次数:
151