架构 Driver Program：每个 Spark 应用的主程序 Spark Context：在 Driver 里面构建，用于协调、调度在各个节点运行的进程 Cluster Manager：管理节点，分配资源（可以是 Spark standalone、Mesos、Yarn、K8S） Worker ...
分类：
其他好文 时间：
2020-05-22 09:37:29
阅读次数：
62
1.kubernetes简介1.1docker容器技术Dockerprovidesawaytorunapplicationssecurelyisolatedinacontainer,packagedwithallitsdependenciesandlibraries.Buildonce,Runanywhwere.Docker提供了一种将应用程序安全，隔离运行的一种方式，能够将应用程序依赖和库文件打
分类：
Web程序 时间：
2020-05-20 09:42:00
阅读次数：
120
Kafka快速入门（一）——Kafka简介一、ApacheKafka简介1、ApacheKafka简介ApacheKafka是一款开源的消息引擎系统，同时也是分布式流处理平台。消息引擎系统是一组在不同系统之间传递语义准确的消息，实现松耦合的异步式数据传递的规范。2、Kafka设计目标Kafka的设计目标如下：（1）以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间
分类：
其他好文 时间：
2020-05-10 10:23:30
阅读次数：
116
Spark 集群模式 系统当前支持几种集群管理器： Standalone – 包含在spark中的一个简单集群管理器，它使得设置一个集群很容易。 Apache Mesos – 一个通用集群管理器，也能运行Hadoop MapReduce 和 service 应用。 Hadoop YARN – the ...
分类：
其他好文 时间：
2020-02-22 14:09:44
阅读次数：
86
集中式结构的概念 由一台或者多台服务器组成中央服务器，多个节点服务器与中央服务器连接。由中央服务器同一进行资源和任务调度。节点服务器之间无需通信和协作，只需要与中央服务器通信协作即可。 集中式结构经典举例 Google Borg Kubernetes Mesos 总结对比 ...
分类：
其他好文 时间：
2020-02-11 15:56:33
阅读次数：
63
大概从2015年开始，Docker、Mesos、Kuberntes等容器相关的技术开始流行起来，云计算的核心理念也随之发生了变化，一句话总结为：云计算的核心理念正在从以资源编排为主体向以应用编排为主体转变。有感于此，谈一些自己关于Kubernetes与Openstack关系与两者整合的一些思考。
分类：
Web程序 时间：
2020-02-06 21:33:42
阅读次数：
259
MapReduce与spark MapReduce： 操作单一，只有map，reduce spark：提供多种操作：过滤，分组，排序.... （一）spark生态环境： Mesos和YARN都是资源调度管理器 HDFS：分布式系统存储组件 S3：亚马逊提供的云端的简单的存储服务 Tachyon：基于 ...
分类：
其他好文 时间：
2020-01-28 20:53:14
阅读次数：
68
Ansible就是一个编排工具。docker ：我们应用程序被容器化了，面向容器化的应用程序。 docker compose 是一个docker编排工具，面向单台主机编排， docker swarm 是面向集群化的编排工具， docker machine mesos,marathon（容器遍排框架） ...
分类：
Web程序 时间：
2020-01-14 14:50:42
阅读次数：
149
mesos slave启动失败，查看状态如下： # systemctl status mesos-slave ● mesos-slave.service - Mesos Slave Loaded: loaded (/usr/lib/systemd/system/mesos-slave.service ...
分类：
其他好文 时间：
2020-01-11 00:15:23
阅读次数：
149
Kubernetes概述 根据Kubernetes网站的说法，“Kubernetes是一个自动化，容器化应用程序部署扩展和管理的开放源代码系统。”Kubernetes由Google根据他们在生产中运行容器的经验使用称为Borg的内部集群管理系统（有时简称Omega）。 Kubernetes的体系结构 ...
分类：
Web程序 时间：
2020-01-10 15:51:10
阅读次数：
230
