记得几年前，用.net做分布式批处理的时候环境搭建很麻烦，虽然参数的分片算法、配置都搞定了，但是.net虚拟机的环境建立是个头疼的事： 现在讲讲基于Mesos怎么做由于.net的历史原因，mesos没有为.net封装wrapper（java/python都有，连js都有，唯独没有.net的），正要放 ...
分类：
其他好文 时间：
2017-10-05 14:39:30
阅读次数：
166
今天试用fnproject 之后自己有些思考，后面继续解决 1. 目前测试是强依赖 dockerhub 的，实际可能不是很方便 2. 如何与k8s 、mesos、docker swarm 集成 3. security 如何做 4. 现有基础设施改造 5. 监控、服务追踪、日志的处理 6. 持续集成如 ...
分类：
其他好文 时间：
2017-10-04 22:02:05
阅读次数：
317
采用rpm方式安装你了mesos，碰到zookeeper（采用了cloudera的zookeeper）的IP地址变化了，肿么办？ 在master机器中： /etc/mesos/zk进行编辑修改zk路径改为zookeeper集群地址（注意，开头标志zk://，结尾添加/mesos即可，中间是zooke ...
分类：
其他好文 时间：
2017-10-01 20:31:19
阅读次数：
175
从 Mesos 到 Kubernetes 之前的调度框架是基于 Mesos 自研的。采用的语言是 Python。运行了大概两年多的时间了，也一直比较稳定。但随着业务的增长，现有的框架的问题逐渐暴露。 解决上述问题的方案有两个，一个是对现有系统进行改进重构，另一个是迁移到 Kubernetes。我们最 ...
分类：
Web程序 时间：
2017-09-30 13:30:48
阅读次数：
278
Spark的一大好处就是可以通过增加机器数量并使用集群模式运行，来扩展计算能力。Spark可以在各种各样的集群管理器（Hadoop YARN , Apache Mesos , 还有Spark自带的独立集群管理器）上运行，所以Spark应用既能够适应专用集群，又能用于共享的云计算环境。 Spark运行 ...
分类：
其他好文 时间：
2017-09-18 10:53:22
阅读次数：
151
centos系统，使用vnc登陆报错 “The connection was refused by the host computer” 使用以下两个命令解决： [root@mesos-m-02 ~]# rm /tmp/.X11-unix/X2 [root@mesos-m-02 ~]# system ...
分类：
其他好文 时间：
2017-09-14 21:32:55
阅读次数：
217
比较简单，直接上例子objecttakeWhileTest{
defmain(args:Array[String]):Unit={
valnames=List("spark","hadoop","kafka","hive","mesos","zero","xyz","marathon")
//需求：将names容器中，获取/过滤出元素长度为4的元素，
//takeWhile,从第一个元素开始判断，满足条件，就留..
分类：
其他好文 时间：
2017-09-08 11:48:25
阅读次数：
286
安装了将近一周的环境了，终于把Mesos以及Marathon给安装上了，我指的离线安装。 策略1： 严格的按照官网的流程： http://mesos.apache.org/gettingstarted/ 找一台能够上网的机器，通过yum install/update --downloadonly - ...
分类：
其他好文 时间：
2017-09-03 21:11:42
阅读次数：
3106
Mesos安装完毕后，发现agent无法和master关联（通过WebUI的agent页面无法看到agent信息），查看日志显示： Elected as the leading master! starat recovery...具体记不清了，就是打算向zookeeper中写入信息，但是失败了 Re ...
分类：
其他好文 时间：
2017-09-03 19:35:52
阅读次数：
198
在学习工作中查看并收藏了许多文档，也许有你感兴趣的部分。 内容涉及 软件安装，系统基础知识 ，golang/c开发，paas部署平台(docker/mesos/marathon),微服务等等。 http://note.youdao.com/noteshare?id=e94b1c3bed0fd2a16 ...
分类：
其他好文 时间：
2017-08-30 13:08:50
阅读次数：
156
