Yarn架构介绍Yarn/MRv2最基本的想法是将原JobTracker主要的资源管理和job调度/监视功能分开作为两个单独的守护进程。有一个全局的ResourceManager(RM)和每个Application有一个ApplicationMaster(AM),Application相当于map- ...
分类：
其他好文 时间：
2018-11-29 20:02:11
阅读次数：
125
Docker是什么使用最广泛的开源容器引擎一种操作系统级的虚拟化技术依赖于Linux内核特性：Namespace（资源隔离）和Cgroups（资源限制）一个简单的应用程序打包工具Docker设计目标提供简单的应用程序打包工具开发人员和运维人员职责逻辑分离多环境保持一致性像一艘货船，通过集装箱把代码打包，分开，然后再传输Docker基本组成DockerClient：客户端DdockerDaemon：
分类：
其他好文 时间：
2018-11-26 15:11:30
阅读次数：
263
cgroups资源限制 上一节中Docker背后的内核知识（一），我们了解了Docker背后使用的资源隔离技术namespace，通过系统调用构建了一个相对隔离的shell环境，也可以称之为简单的“容器”。这一节将讲解另一个强大的内核工具——cgroups。它不仅可以限制被namespace隔离起来 ...
分类：
其他好文 时间：
2018-11-25 23:58:27
阅读次数：
319
Docker背后的内核知识 当谈论Docker时，常常会聊到Docker的实现方式。很多开发者都知道，Docker容器本质上是宿主机上的进程。Docker通过namespace实现了资源隔离。通过cgroups实现了资源限制，通过写时复制机制实现了高效的文件操作。但更进一步深入namespace和c ...
分类：
其他好文 时间：
2018-11-25 13:21:34
阅读次数：
196
docker利用namespaces和cgroups实现了应用隔离和资源控制，那么网络层优势如何实现的呢？是直接使用宿主机的网卡设备，还是独立创造出自己的网络设备？以及容器如何与外界通信，下面我们通过简单的说明以及示例，讨论下单机模式下docker的网络模式。 docker单机模式下，主要有四种网络 ...
分类：
其他好文 时间：
2018-11-21 00:23:59
阅读次数：
223
docker的介绍及部署 docker的介绍及部署 Docker是通过内核虚拟化技术（namespaces及cgroups cpu、内存、磁盘io等）来提供容器的资源隔离与安全保障等。由于Docker通过操作系统层的虚拟化实现隔离，所以Docker容器在运行时，不需要类似虚拟机（VM）额外的操作系统 ...
分类：
其他好文 时间：
2018-11-13 16:08:21
阅读次数：
209
cgroup https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/6/html/resource_management_guide/ch01 http://man7.org/linux/man-pages/ma ...
分类：
系统相关 时间：
2018-10-13 20:22:21
阅读次数：
176
Docker是对lxc与cgroups 连接起来，做了一个二次封装，从而使容器用法更加简便 现在用Libcontainer runc 的容器运行环境 OCI ：容器格式和运行时指定的一个开放的工业标准 OCF ：开放容器格式 Runc：是一个运行，是基于libcontainter的容器管理器 Doc ...
分类：
其他好文 时间：
2018-10-05 22:40:37
阅读次数：
235
每次安装Linux的时候，都会要求配置交换分区，那么这个分区是干嘛的呢？不设置这个分区有什么后果？如果一定要设置，设置多大比较合适？本篇将试图回答这些问题并尽量覆盖所有swap相关的知识。 下面的所有例子都在ubuntu-server-x86_64 16.04下执行通过 什么是swap? swap ...
分类：
系统相关 时间：
2018-09-30 18:05:06
阅读次数：
273
先说和虚拟化技术的区别 难道虚拟技术就做不到吗？ 不不不，虚拟技术也可以做到，但是会有一定程度的性能损失，灵活度也会下降。容器技术不是模仿硬件层次，而是 在Linux内核里使用cgroup和namespaces来打造轻便的、将近裸机速度的虚拟技术操作系统环境。因为不是虚拟化存储，所以容器技术不会管 ...
分类：
其他好文 时间：
2018-09-29 13:07:58
阅读次数：
236
