Cluster Platform redhat/centos7, docker, mesos, cloudera manager(cdh) Checklist 1 check user & password & network reachability, make sure everything i ...
分类:
其他好文 时间:
2019-02-23 01:35:21
阅读次数:
137
Spark运行模式 Local 多用于本地测试,如在eclipse,idea中写程序测试等。 Standalone Standalone是Spark自带的一个资源调度框架,它支持完全分布式。 Yarn Hadoop生态圈里面的一个资源调度框架,Spark也是可以基于Yarn来计算的。 Mesos 资 ...
分类:
其他好文 时间:
2019-02-23 01:35:09
阅读次数:
214
traefik 介绍 "traefik" 是一个为了让部署微服务更加便捷而诞生的现代HTTP反向代理、负载均衡工具。 它支持多种后台 (Docker, Swarm, Kubernetes, Marathon, Mesos, Consul, Etcd, Zookeeper, BoltDB, Rest ...
分类:
其他好文 时间:
2019-02-20 17:16:31
阅读次数:
225
一 官方 airflow官方分布式部署结构图 airflow进程 webserver scheduler flower(非必须) worker airflow缺点 scheduler单点 通过在scheduler的dags目录变动dag文件来提交流程 官方分布式部署方案 多个webserver 多个 ...
分类:
其他好文 时间:
2019-02-20 09:51:48
阅读次数:
154
marathon-lb 官方:https://github.com/mesosphere/marathon-lb 一 简介 Marathon load balancer (Marathon-LB) is a proxy server and load balancer for TCP, HTTP, ...
分类:
其他好文 时间:
2019-02-18 18:59:37
阅读次数:
178
marathon 1.6.322 官方:https://mesosphere.github.io/marathon/ 一 简介 Marathon is a production-grade container orchestration platform for Mesosphere’s Datac ...
分类:
其他好文 时间:
2019-02-15 19:59:30
阅读次数:
224
业界使用架构京东OpenstackIcehouse+docker1.3+OVS2.1.3/2.3.2+Centos6.6==>K8s+Docker+Flannel+Neutron+OVS+DPDK+JFS某个容器失效,自动触发RC(保持IP丌变“迁移”)OVS-VLAN知乎Git+Jenkins(CI/CD)+mesos+自研framework+group(隔离)+Consul+haprox
分类:
其他好文 时间:
2019-01-14 10:59:05
阅读次数:
187
项目应用实现分布式部署 不关心硬件细节。 mesos 分布式文件系统 excutor(调度器) -> master(选举只有一个Master 还有被的standby.master) -> slave(执行任务)->若干个task(跑的一个个实例) marthon 通过application实例 自动 ...
分类:
其他好文 时间:
2019-01-11 20:14:37
阅读次数:
180
Launch Mesos-Slave docker run -d \ -e MESOS_HOSTNAME=192.168.253.160 \ -e MESOS_IP=192.168.253.160 \ -e MESOS_MASTER=zk://192.168.253.159:2181/mesos \ ...
分类:
其他好文 时间:
2019-01-10 15:30:32
阅读次数:
120
1.前置条件 Docker开启TCP端口 开启docker apiserver的2375管理端口,本示例在CentOS7环境下。编辑docker.service文件,修改ExecStart参数,添加-H tcp://0.0.0.0:2375 -H unix://var/run/docker.sock ...
分类:
其他好文 时间:
2018-12-26 20:08:15
阅读次数:
302