码迷,mamicode.com
首页 > 其他好文 > 详细

docker资源限制与数据持久化

时间:2020-07-07 15:06:55      阅读:57      评论:0      收藏:0      [点我收藏+]

标签:emd   隐藏   rmi   文件系统   star   相对   守护进程   平台   数据持久化   

1. docker简介和核心概念

Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化。容器是完全使用沙箱机制,相互之间不会有任何接口。

2. 为什么需要使用到容器

1. 传统服务部署,维护相对繁琐。
2. 资源利用存在浪费
3. 扩容、缩容不够及时
4. 服务器迁移,维护相对繁琐
5. 集群环境一致性差
6. 无法应用突发流量
7. 弹性伸缩
docker的出现能够改善以上问题。

3.docker是什么

1. docker是一个开源的容器引擎
2. 一个操作系统级的虚拟化技术
3. 依赖于系统内核的特性,实现:  1. namespace{资源隔离} 2. cgroup{资源限制}
4. docker也是一个简单的应用程序打包工具。可以将程序封装好,通过docker自身的导出导入能力为迁移提供保障
5. 多环境一致性。docker的出现,从根本解决了环境一致性问题,它能够将环境必备的程序打包到一个容器中,提供他人使用

4.容器和虚拟机区别

技术图片

VM:   硬件-->操作系统-->虚拟机管理程序-->虚拟机-->操作系统-->服务程序

docker:   硬件-->操作系统-->docker-->服务程序

技术图片

5.docker适合于哪些应用场景

1. 应用程序打包[能够保证所打包的程序在另一个docker环境中完美运行]
2. 应用程序隔离
3. 持续集成
4. 部署微服务
5. 快速搭建一个测试环境
6. 提供平台及服务

6. 安装docker

1. yum安装
#源添加
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
wget -P /etc/yum.repos.d/ http://mirrors.aliyun.com/repo/epel-7.repo
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
yum clean all
yum install -y bash-completion.noarch

# 安装指定版版本 
yum -y install docker-ce-18.09.9-3.el7

#也可以查看版本安装
yum list docker-ce --showduplicates | sort -r

#启动docker
systemctl enable docker
systemctl start docker
systemctl status docker


2. 离线版安装
#官方下载docker
https://download.docker.com/linux/static/stable/x86_64/docker-19.03.9.tgz
#个人网站下载:
wget https://www.chenleilei.net/soft/docker/docker-19.03.9.tgz

tar zxvf docker-19.03.9.tgz
mv docker/* /usr/bin

#加入systemd
#--------------------------------------------------------
cat > /usr/lib/systemd/system/docker.service << EOF
[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service
Wants=network-online.target
[Service]
Type=notify
ExecStart=/usr/bin/dockerd
ExecReload=/bin/kill -s HUP $MAINPID
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
TimeoutStartSec=0
Delegate=yes
KillMode=process
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s
[Install]
WantedBy=multi-user.target
EOF
#--------------------------------------------------------

#创建配置文件
rm -f /etc/docker/*
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-‘EOF‘
{
  "registry-mirrors": ["https://ajvcw8qn.mirror.aliyuncs.com"],
  "exec-opts": ["native.cgroupdriver=systemd"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker
systemctl enable docker.service

#个人docker源:
#这个是阿里云配置的加速,直接添加阿里云加速源就可以了,上面显示了配置办法。
https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors

#设置开机启动和启动即可
systemctl enable docker
systemctl start docker

7. docker镜像

镜像是一个分层存储的文件,不是一个单一文件
一个软件环境
一个镜像可以创建多个容器
一个标准化的交付概念
一个不包含Linux欸和且精简的Linux操作系统

8. docker常用命令

# 查看命令:
docker ps                 #查看已运行中的容器
docker ps -a              #查看所有容器
docker history [容器ID]   #查看容器层级
docker image  ls          #列出镜像,等同于 docker images
docker build              #使用dockerfile构建镜像 如:docker build -t nginx-test-v001 -f dockerfile-nginx .
docker inspect [容器ID]   #查看一个容器的详细信息。

#容器删除
 docker rm [容器id]     #删除容器
 docker rmi [容器id]    #删除容器同时删除镜像
 
 
# 运行命令:
docker run               #运行一个容器
            -d           #后台运行,然后返回该容器ID
            -t           #分配一个tty终端
            -i           #以交互模式运行容器,通常与 -t 同时使用
            
# 清除镜像
docker image prune     #移除没有使用得镜像,并提示
docker image prune -a  #移除所有没有被使用的镜像

# 推送镜像
docker push

#其他指令
docker tag     给一个镜像打标签,用于推送镜像到私有仓库
docker export  导出容器文件系统到tar包。  如: docker export 1e682c585342 >dashboard.tar.gz  [用的不多]
docker import  导入容器文件系统tar包。  [这个指挥导出容器里的内容 不会导出整个系统,docker export也是如此]  
docker save    保存一个或多个[镜像]到tar包   #常用 用法:  docker save nginx >nginx.tar
docker load    导入一个docker的[镜像]tar包  #常用 用法:  docker load < nginx.tar
docker info    查看docker版本信息

docker search nginx  搜索镜像
docker pull	nginx    下载镜像
## 停止容器
docker stop 容器名

一次性停止所有容器
docker stop $(docker ps -a -q)

## 干掉容器 
docker kill $(docker ps -a -q)

#常用参数:
-v 挂载磁盘  [ -v 宿主机目录:容器目录 ]

#进入容器
docker exec -it [容器id] bash

#容器相关操作
docker run   运行一个容器
docker exec  进入一个容器
docker ps    查看运行的容器
docker ps -a 查看所有容器
docker stop  停止一个容器
docker start 启动一个容器
docker kill  关闭一个容器
docker  rm   删除一个容器
docker  rename 重命名一个容器 如:docker rename nginx nginx1
docker  top  查看容器内运行进程信息
docker  cp   拷贝容器中的文件  示例: docker cp nginx_leilei01:/etc/nginx/nginx.conf ./

docker pause   暂停一个容器:
docker unpause 恢复被暂停的容器

docker stats   显示容器的实时流资源使用统计信息

docker cp /root/1.txt 23er23rs:/www   拷贝文件到docker中,可通过: docker exec nginx1 ls /tmp  查看

#挂载目录和文件
-v /leilei:/usr/share/nginx/html
-v /leilei/nginx.conf:/usr/share/nginx/conf/nginx.conf

#指定映射端口
-p 90:80     #将80端口映射到公网90端口  默认随机端口是从/etc/sysctl.conf中定义的随机端口范围.
-P  #大写P 映射为随机端口.

9. docker创建容器选项

技术图片

10. docker资源限制

-m,-memory     设定最大内存量 如: -m=‘512m‘
-memory-swap    允许交换分区的大小
-memory-swappiness=<0-100>  允许使用脚本分区的大小0-100  默认禁用 -1
-oom-kill-disbale    #禁用oom
--cpus         #限制容器使用的cpu数量
--cpuset-cpus  #限制容器使用那些核心,如: 0-3   0,1
--cpu-shares   #cpu共享

#查看限制:
docker stats 
[root@k8s-master1 ~]# docker stats [id]
CONTAINER ID   NAME            CPU %     MEM USAGE / LIMIT     MEM %       NET I/O      BLOCK I/O     PIDS
359042c33b3d   zealous_napier  0.00%     1.387MiB / 2.922GiB   0.05%       1.3kB / 0B   0B / 0B       2


资源限制的例子:
#只用一个半cpu
docker run -d --name nginx01 --cpus=‘1.5‘ nginx

#最多使用50%cpu
docker run -d --name nginx02 --cpus=".5" nginx

#允许最多使用500M内存和100mswap,禁用oom
docker run -d --name nginx03 --memory="500m" --memory-swap="600m" --oom-kill-disable nginx


资源扩容:
[对已创建的容器进行在线扩容(仅支持一部分)]
docker update 

如:
docker update -m="1000m"  [容器ID]

11. docker namespace

Linux内核在2.4.19版本开始引入namespace概念,它是将特定的全局系统资源通过抽象方法让namespace中的进程看起来拥有自己隔离的资源。 docker借助该机制实现的容器资源隔离。
namespace的6中不同命名空间:
IPC: 隔离进程间通信
MOUNT: 隔离文件系统挂载点
NET: 隔离网络协议栈
PID: 隔离进程号,进程命名空间是一个父子结构,子空间对父空间可见
USER: 隔离用户
UTC: 隔离主机名和域名

12. docker CGroups

namespace不会对资源进行限制,如CPU 内存等,如果CPU被频繁调用,它会影响到其他容器的CPU资源。
此时,引入了 CGroups 用于限制容器资源。
cgoups: 所有的人物就是运行在系统的第一个进程,而cgroups以某种标准将一组进程为目标进行资源分配和控制。
例如: cpu 内存 宽带 并且可以动态配置。
cgoups主要功能:
1. 限制进程组使用的资源数量。 设定进程组资源使用上限,例如:限制内存
2. 进程组优先级控制,可以为进程组分配特定的CPU,磁盘I/O吞吐量
3. 记录进程组使用的资源数量: 例如,使用记录某个进程组使用的CPU时间
4. 进程组控制(control): 可以将进程组挂起和恢复

13. docker数据持久化:

1. 搜索镜像    
2. 挂载宿主机三个文件: hostname hosts resolv.conf
3. 挂载容器目录 /var/lib/docker/containers

数据持久化:

volumes: docker 管理宿主机文件系统的一部分(/var/lib/docker/volumes) 保存数据最佳方式。
bind mounts:将宿主机上的任意位置文件或者目录挂载到容器中。
tmpfs : 很少用。 挂载存储在主机的内存中,不会写入到主机的文件系统。

13.1 volume持久化方案:

1. 创建volume:
[root@k8s-master1 ~]# docker volume create nginx-volume
nginx-volume
2. 检查volume目录: 
[root@k8s-master docker]# docker inspect nginx-volume 
[
    {
        "CreatedAt": "2020-07-05T14:08:27+08:00",
        "Driver": "local",
        "Labels": null,
        "Mountpoint": "/var/lib/docker/volumes/nginx-volume/_data",
        "Name": "nginx-volume",
        "Options": null,
        "Scope": "local"
    }
]


2. 使用volume:
   第一种方法:
   docker run -d -p 80:80 --name=nginx-test --mount src=nginx-volume,dst=/usr/share/nginx/html nginx
   
   第二种方法:
   docker run -d -p 80:80 --name=nginx-test -v nginx-volume:/usr/share/nginx/html nginx
   
   
 3. volume清理办法:
   docker stop nginx-test
   docker rm nginx-test
   docker volume rm nginx-volume
   
   
例子:
docker volume create nginx-volume
docker inspect nginx-volume |grep ‘Mountpoint‘ 获取volume目录。
1.方法1 bindmount挂载:
docker run -d -p 80:80 --name=nginx-test --mount type=bind,src=nginx-volume,dst=/usr/share/nginx/html nginx
2.方法2 挂载[常用]:
docker run -d -p 80:80 --name=nginx-test -v nginx-volume:/usr/share/nginx/html nginx
两种方法都是将nginx-volume挂载容器中的网页目录中: /usr/share/nginx/html

检查:
[root@k8s-master docker]# ls /var/lib/docker/volumes/nginx-volume/_data
50x.html  index.html
修改:
echo chenleilei01 > /var/lib/docker/volumes/nginx-volume/_data/index.html


注意:
bindmount挂载的方式: 如果容器目录非空,则该目录内容会被隐藏,从而使用宿主机目录覆盖容器中的网页目录
volume挂载方式:  docker管理宿主机文件系统的一部分。组词杭甬的数据保存方式。

13.2 bind mount持久化数据方式:

1. 创建volume:
[root@k8s-master1 ~]# docker volume create nginx-volume
nginx01-volume
2. 检查volume目录: 
[root@k8s-master docker]# docker inspect nginx-volume 
[
    {
        "CreatedAt": "2020-07-05T14:08:27+08:00",
        "Driver": "local",
        "Labels": null,
        "Mountpoint": "/var/lib/docker/volumes/nginx-volume/_data",
        "Name": "nginx-volume",
        "Options": null,
        "Scope": "local"
    }
]
3. 使用bindmount挂载
docker run -d -p 80:80 --name=nginx-test --mount type=bind,src=nginx01-volume,dst=/usr/share/nginx/html nginx

14. docker核心组件之间关系

技术图片

docker deamon: docker的守护进程,负责与docker client交互,并管理镜像和容器
containerd: 是一个简单的守护进程,向上给docker daemon提供接口,向下通过containerd-shim结合runC管理创建容器。
runC: 一个命令行工具,它根据OCI标准来创建容器和运行容器

总结:

namespace: 一个命名空间,Linux内核提供的一种对资源隔离的机制。 如隔离进程 网络 挂载点等资源
cgroups:    Linux内核提供的一种对进程组限制的机制,如: cpu 内存等。
unionfs:   联合文件挂在系统。 支持不同位置的目录挂载到同一个虚拟文件系统,并形成一种分层的模型。

docker资源限制与数据持久化

标签:emd   隐藏   rmi   文件系统   star   相对   守护进程   平台   数据持久化   

原文地址:https://www.cnblogs.com/superlinux/p/13260618.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!