0. 说明 Spark 集群模式 && Spark Job 部署模式 1. Spark 集群模式 [ Local ] 使用一个 JVM 模拟 Spark 集群 [ Standalone ] 启动 master + worker 进程 [ mesos ] -- [ Yarn ] -- 2. Spark ...
分类:
其他好文 时间:
2018-10-13 16:53:19
阅读次数:
118
[kube-proxy]http://www.cnblogs.com/xuxinkun/p/5799986.html [flannel] 安装Flannel 指定网卡 如果有多个网卡,需要在kube-flannel.yml中使用–iface参数指定集群主机内网网卡的名称,否则可能会出现dns无法解析 ...
分类:
Web程序 时间:
2018-10-11 11:34:21
阅读次数:
288
3363: [Usaco2004 Feb]Cow Marathon 奶牛马拉松 Description ? 最近美国过度肥胖非常普遍,农夫约翰为了让他的奶牛多做运动,举办了奶牛马拉松.马拉 松路线要尽量长,所以,告诉你农场的地图(该地图的描述与上题一致),请帮助约翰寻找两个 最远农场间的距离. In ...
分类:
其他好文 时间:
2018-10-10 14:20:18
阅读次数:
321
http://datastrophic.io/resource-allocation-in-mesos-dominant-resource-fairness-explained/ Original paper at: https://people.eecs.berkeley.edu/~alig/pa ...
分类:
其他好文 时间:
2018-09-22 12:43:27
阅读次数:
178
如果你是一名开发人员,正需要一种科学的办法来加速你的应用程序开发过程或者微服务的构建,那么我们建议你选择Docker 。 如果你是一个团队领导者,想要构建一个专门的docker容器编排系统,并集成你的解决方案和基础设施,那么恭喜你,你可以锁定Kubernetes。 如果你想构建一个可靠的平台,用以运 ...
分类:
Web程序 时间:
2018-09-20 23:55:41
阅读次数:
374
同类产品dockercompose、dockerswarm、dockermachine、mesos、marathonKubernetes项目地址https://github.com/kubernetes/kubernetes/releasesSchema?核心组件:1)APIserver:接收、分析用户请求,并处理用户请求2)Scheduler:调度资源(通过初选、优选、选定三个阶段调度创建con
分类:
Web程序 时间:
2018-09-20 18:50:22
阅读次数:
273
大数据已经火了很久了,一直想了解它学习它结果没时间,了解了一些资料,结合我自己的情况,整理了一个学习路线,。 学习路线 Linux(shell,高并发架构,lucene,solr) Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeepe ...
分类:
其他好文 时间:
2018-09-17 13:34:04
阅读次数:
148
本文转自:http://ifeve.com/spark-mesos-spark/ 在Mesos上运行Spark Spark可以在由Apache Mesos 管理的硬件集群中运行。 在Mesos集群中使用Spark的主要优势有: 可以在Spark以及其他框架(frameworks)之间动态划分资源。 ...
分类:
其他好文 时间:
2018-09-12 20:16:50
阅读次数:
148
一、容器技术发展现状 容器技术主要可以分为容器运行技术和容器编排技术。其中:容器运行技术主要包括Docker和rkt等;容器编排技术主要包括Kubernetes、Mesos和Swarm等。 1. 容器技术Docker 1) Docker简介 Docker起源于2010 年创业的一家叫作 dotClo ...
分类:
其他好文 时间:
2018-09-06 16:24:55
阅读次数:
186
第一次听到这个名字应该是2016年初的时候,那是在容器技术已经兴起的,各个容器管理平台正处于群雄逐鹿的时候,mesos、kubernetes、swarm等被国内外各个厂商用来作为容器的管理系统。这个时候突然冒出一个词harbor,港湾,同事是这样介绍的:几个VMware中国的人搞了一个容器镜像仓库。 ...
分类:
其他好文 时间:
2018-08-30 18:21:26
阅读次数:
195