一、首先介绍一下docker的存储驱动Device Mapper插件的工作原理
如果在CentOS 、REHL 、Fedor或者其他默认没有 AUFS支持的Linux发行版上使用Docker，你需要用到Device Mapper的存储插件。将这个插件设置为默认，它会把你所有的容器存储到一个100G的简短文件中，并且限制每个容器最大为10GB。最初Docker仅能在支持Aufs文件系统的Linux发行版上运行，但是由于Aufs未能加入Linux内核，为了寻求兼容性、扩展性，Docker在内部通过graphdriver机制这种可扩展的方式来实现对不同文件系统的支持。目前，Docker支持Aufs，Devicemapper，Btrfs和Vfs四种文件系统。
查看linux系统是否支持aufs
#cat /proc/filesystems | grep aufs #没有结果表示不支持
Device Mapper插件是基于Device Mapper的“精简目标”的特性。它实际上是目标块设备的快照，之所以被称为“精简”是因为它允许精简配置。精简配置意味着你有一个（希望很大）可用存储块的池，接着你可以从那个池中创建任意大小的块设备（虚拟磁盘，如有需要）；在你实际读写后，这些存储块将会被标记为已使用（或者从池中拿走）。这意味着你是可以超额使用这个池，比如在一个 100GB 的池里面创建几千个 10GB 的卷，甚至可能是一个 100TB 的卷在一个 1GB 的池里面。只要你的实际读写的块的容量不大于池的大小，你怎么做都可以。除此之外，精简目标的方式是可以做快照的。这表明无论何时，你都可以创建一个存在的卷的浅拷贝。在用户看来，就像你有两个一样的卷，它们可以独立地各自修改。即使你做了一个完整的拷贝，除了在时间上它是瞬间发生的（即使是很大的卷），它们不会两次重复使用存储。额外的存储只有当其中任何一卷有变化的时候才会发生，然后精简目标会从池里面分配一个存储快。从本质上来看，“精简目标”实际上使用了两个存储设备：一个（大）的是存储块池自己，还有一个小的存储了一些元数据。这些元数据中包括了卷、快照、以及每个卷的块或者快照同存储池中块的映射信息。
当 Docker 使用 Device Mapper 存储插件的时候，它会在 /var/lib/docker/devicemapper/devicemapper/data和/var/lib/docker/devicemapper/devicemapper/metadata 下创建两个文件（如果它们不存在）来存储对应的存储池和相关的元数据。这非常方便，你不需要做任何安装部署的工作（你不需要额外的分区来存储 Docker容器，或者建立LVM 或其他类似的东西）然而它也有两个缺点：
第一：存储池会有一个默认100GB 的容量
第二：它将会被稀疏文件所支持。从磁盘的使用效率的观点来看，这还不错的（就像在精简池中的卷，它一开始是小的，只有当实际需要写的时候才会使用磁盘的存储块）但是从性能的角度来看就不那么好了，因为 VFS 增加了一些额外的负担，特别是"第一次写的时候"。
PS:容器快照保存容器中所有的更新，当数据写入容器时，devicemapper从存储池中按需分配空间。
参考链接：http://www.cnblogs.com/feisky/p/4106004.html
二、这里介绍在centos6.x环境和centos7.x环境扩容docker的pool的方法
参考链接：http://dl528888.blog.51cto.com/2382721/1618893
其实扩容docker的pool空间也有几种方式：
第一种：使用文件
#dd if=/dev/zero of=/var/lib/docker/devicemapper/devicemapper/data bs=1G count=0 seek=500 这样将会创建一个500G的稀疏文件，如果不使用 seek 选项，那么它会创建一个普通文件，而不是一个稀疏文件
第二种：使用磁盘
额外在docker宿主机添加一块磁盘，然后格式化磁盘，并软链接到docker数据存储目录
#ln -s /dev/sdb /var/lib/docker/devicemapper/devicemapper/data 然后再重启docker服务
第三种：使用逻辑卷（没有测试过）
ln -s /dev/mapper/centos-dockerdata /var/lib/docker/devicemapper/devicemapper/data
下面开始在centos6.x和centos7.x下进行操作
1、centos6.x 环境
配置yum源，使用yum安装docker-io，启动docker，这些在这里不在赘述了。
第一种方式：简单介绍
备份镜像和容器
#docker save -o centos6.tar centos:centos6 #备份镜像 #docker export httpserver > /root/httpserver.tar #备份容器
备份iptables规则
#cp /etc/sysconfig/iptables /root/iptables_backup #在恢复容器的时候，这些规则可以作为参考
停止当前docker所有的容器
#docker stop `docker ps -a -q`
停掉docker服务
#service docker stop
备份旧的docker数据
#cp -a /var/lib/docker/ /root/docker_backup/ #备份旧数据是为了进行失败回滚
删除旧的docker数据文件
#rm -rf /var/lib/docker/
使用dd命令增大pool容量
#mkdir /var/lib/docker/devicemapper/devicemapper -pv #创建文件夹
生成200G的pool空间
#dd if=/dev/zero of=/var/lib/docker/devicemapper/devicemapper/data bs=1G count=0 seek=200 #增大到200G 0+0 records in 0+0 records out 0 bytes (0 B) copied, 0.000379694 s, 0.0 kB/s #ll /var/lib/docker/devicemapper/devicemapper/ #查看pool文件大小 total 0 -rw-r--r-- 1 root root 214748364800 Aug 16 16:13 data
启动docker
#systemctl start docker #如果可以正常启动，pool容器就会扩大到200G 通过查看docker的pool空间大小来确认，使用命令：docker info
第二种方式：着重介绍
docker的安装就不说了，直接介绍扩容pool空间
查看docker默认的pool空间大小，如下：
#docker info Containers: 1 Images: 2 Storage Driver: devicemapper Pool Name: docker-8:3-656635-pool Pool Blocksize: 65.54 kB Backing Filesystem: extfs Data file: /dev/loop0 Metadata file: /dev/loop1 Data Space Used: 640.2 MB Data Space Total: 107.4 GB #pool空间为107G Data Space Available: 27.3 GB Metadata Space Used: 1.044 MB Metadata Space Total: 2.147 GB Metadata Space Available: 2.146 GB Udev Sync Supported: true Deferred Removal Enabled: false Data loop file: /var/lib/docker/devicemapper/devicemapper/data Metadata loop file: /var/lib/docker/devicemapper/devicemapper/metadata Library Version: 1.02.89-RHEL6 (2014-09-01) Execution Driver: native-0.2 Logging Driver: json-file Kernel Version: 2.6.32-504.el6.x86_64 Operating System: <unknown> CPUs: 2 Total Memory: 992.4 MiB Name: test ID: BIW3:V2R2:7CWN:XQWW:4WO2:PUYO:JHOG:3N3F:DMU6:TKVR:R2EC:CORL
查看安装的docker 版本
#docker version Client version: 1.7.1 Client API version: 1.19 Go version (client): go1.4.2 Git commit (client): 786b29d/1.7.1 OS/Arch (client): linux/amd64 Server version: 1.7.1 Server API version: 1.19 Go version (server): go1.4.2 Git commit (server): 786b29d/1.7.1 OS/Arch (server): linux/amd64
然后添加一块独立的磁盘，并格式化，如下：
#fdisk -l Disk /dev/sda: 32.2 GB, 32212254720 bytes 255 heads, 63 sectors/track, 3916 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0x0009053b Device Boot Start End Blocks Id System /dev/sda1 * 1 26 204800 83 Linux Partition 1 does not end on cylinder boundary. /dev/sda2 26 52 204800 82 Linux swap / Solaris Partition 2 does not end on cylinder boundary. /dev/sda3 52 3917 31046656 83 Linux Disk /dev/sdb: 128.8 GB, 128849018880 bytes #新添加的磁盘 255 heads, 63 sectors/track, 15665 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0x00000000 格式化： #mkfs.ext4 /dev/sdb
在容器中创建文件和安装httpd服务
查看镜像 # docker images REPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZE centos6 latest 273a1eca2d3a 2 weeks ago 194.6 MB 查看容器 # docker ps -a CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 43f8196d81fc centos6 "/bin/bash" 2 hours ago Up 3 seconds 0.0.0.0:5000->80/tcp http 进入容器安装httpd，创建文件 #docker attach 43f8196d81fc #vi docker_test.txt this is a backup file in docker host #yum install httpd -y 创建默认页面: #echo "<h1>hello docker!</h1>" > /var/www/html/index.html 启动httpd #service httpd start 在浏览器访问：http://10.0.90.26:5000
备份docker所有的镜像和容器,并将新添加的磁盘软链到docker数据文件目录
备份镜像 #docker save -o centos6_2.tar centos6 备份容器 #docker export http > /root/centos6_http2.tar 停止docker中正在运行的所有容器 #docker stop `docker ps -a -q` 停掉docker服务 #service docker stop 备份docker的数据文件目录，以免出现意外的情况下回滚数据 #cp -a /var/lib/docker /root/BackUp/ 删除旧的docker数据 #rm -rf /var/lib/docker/ 创建docker数据存储路径 #mkdir -pv /var/lib/docker/devicemapper/devicemapper 然后创建软连接，指向添加的磁盘设备 # ln -sv /dev/sdb /var/lib/docker/devicemapper/devicemapper/data `/var/lib/docker/devicemapper/devicemapper/data‘ -> `/dev/sdb‘ 启动docker服务 # service docker start Starting docker: [ OK ] 查看docker数据存储路径文件 # ll /var/lib/docker/devicemapper/devicemapper/ total 820 lrwxrwxrwx 1 root root 8 Aug 17 20:08 data -> /dev/sdb -rw------- 1 root root 2147483648 Aug 17 20:09 metadata 然后再次运行docker info，查看pool空间是否扩容成功，如下 #docker info Containers: 0 Images: 0 Storage Driver: devicemapper Pool Name: docker-8:3-656121-pool Pool Blocksize: 65.54 kB Backing Filesystem: extfs Data file: /dev/loop0 Metadata file: /dev/loop1 Data Space Used: 305.7 MB Data Space Total: 128.8 GB ##已经由原来的107扩容到了128G Data Space Available: 128.5 GB Metadata Space Used: 811 kB Metadata Space Total: 2.147 GB Metadata Space Available: 2.147 GB Udev Sync Supported: true Deferred Removal Enabled: false Data loop file: /var/lib/docker/devicemapper/devicemapper/data Metadata loop file: /var/lib/docker/devicemapper/devicemapper/metadata Library Version: 1.02.89-RHEL6 (2014-09-01) Execution Driver: native-0.2 Logging Driver: json-file Kernel Version: 2.6.32-504.el6.x86_64 Operating System: <unknown> CPUs: 2 Total Memory: 992.4 MiB Name: test ID: BIW3:V2R2:7CWN:XQWW:4WO2:PUYO:JHOG:3N3F:DMU6:TKVR:R2EC:CORL
最后恢复镜像和容器，并测试
# docker load --input centos6_2.tar #恢复镜像# # cat centos6_http2.tar | docker import - webserver:test #将容器恢复成镜像 dd0deadd4cb5bee6c6febb21f4e884a846a853396a24fd5eb3cab1a9640b9fcb 查看恢复后的镜像 # docker images REPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZE webserver test dd0deadd4cb5 About a minute ago 266.4 MB centos6 latest 273a1eca2d3a 2 weeks ago 194.6 MB 通过webserver这个镜像重新run起来一个web容器 # docker run -d -i -t --privileged=true -p 5000:80 --name http webserver:test /bin/bash 9b07c82278421fe3395a5504e0e4c9c20513018edfcb0342fa1db961c6680751 # docker ps -a CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 9b07c8227842 webserver:test "/bin/bash" About a minute ago Up About a minute 0.0.0.0:5000->80/tcp http 进入容器查看扩容pool之前创建的文件以及web默认页面 #docker attach 9b07c8227842 [root@9b07c8227842 /]# [root@9b07c8227842 ~]# ll total 20 -rw------- 1 root root 2525 Jul 29 14:12 anaconda-ks.cfg -rw-r--r-- 1 root root 37 Aug 17 09:38 docker_test.txt -rw-r--r-- 1 root root 7275 Jul 29 14:12 install.log -rw-r--r-- 1 root root 1680 Jul 29 14:11 install.log.syslog [root@9b07c8227842 ~]# cat docker_test.txt #可以看到扩容之前创建的文件 this is a backup file in docker host #cat /var/www/html/index.html #创建的web页面也是存在的 <h1>hello docker!</h1> 启动http服务，在浏览器访问http://10.0.90.26:5000 是可以正常访问的。
2、centos7.x环境
第一种方法：使用文件（dd 命令）
配置yum源并安装docker
#cat /etc/yum.repos.d/docker.repo [dockerrepo] name=Docker Repository baseurl=https://yum.dockerproject.org/repo/main/centos/7 enabled=1 gpgcheck=1 gpgkey= 使用yum来安装docker #yum install docker-engine -y
启动docker
#systemctl start docker
查看docker详细信息：
#docker info Containers: 2 Running: 2 Paused: 0 Stopped: 0 Images: 2 Server Version: 1.12.0 Storage Driver: devicemapper Pool Name: docker-8:2-524741-pool Pool Blocksize: 65.54 kB Base Device Size: 10.74 GB Backing Filesystem: xfs Data file: /dev/loop0 Metadata file: /dev/loop1 Data Space Used: 584.5 MB Data Space Total: 107.4 GB #pool空间为107G Data Space Available: 29.43 GB Metadata Space Used: 1.065 MB Metadata Space Total: 2.147 GB Metadata Space Available: 2.146 GB Thin Pool Minimum Free Space: 10.74 GB Udev Sync Supported: true Deferred Removal Enabled: false Deferred Deletion Enabled: false Deferred Deleted Device Count: 0 Data loop file: /var/lib/docker/devicemapper/devicemapper/data Metadata loop file: /var/lib/docker/devicemapper/devicemapper/metadata Library Version: 1.02.107-RHEL7 (2015-10-14) ……
可以看到docker版本是1.12.0，pool是107.4G,已经使用了584.5MB
查看docker镜像和容器的信息，如下：
#docker images REPOSITORY TAG IMAGE ID CREATED SIZE centos centos6 a3c09d36ab4a 2 weeks ago 194.6 MB centos latest 970633036444 2 weeks ago 196.7 MB #docker ps -a CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES eab85feb5eee centos:centos6 "/bin/bash" 21 hours ago Up 15 minutes 0.0.0.0:5000->80/tcp testweb adbf1d4ccc10 centos:centos6 "/bin/bash" 27 hours ago Up 13 minutes web ps：我事先在testweb容器中创建了testfile.txt文件，内容是Hello docker!，等扩容恢复之后，看此文件是否存在！
接下来开始备份docker镜像和容器
备份所有docker的container
#docker ps -a | grep -v "NAMES" | awk ‘{print $NF}‘|xargs -I {} sh -c "docker export {} > /root/docker_{}.tar"
备份镜像：
#docker save -o centos6.tar centos:centos6
#docker save -o centos7.tar centos停掉当前正在运行的容器
#docker stop eab85feb5eee adbf1d4ccc10
停掉docker服务并备份docker旧数据
停掉docker #systemctl stop docker 备份docker旧数据 #mkdir /root/docker_backup #cp -a /var/lib/docker/ /root/docker_backup/
再将docker旧数据删除
#rm -rf /var/lib/docker/
使用dd命令生成一个大文件作为pool的容量空间，具体大小根据情况自定义
#mkdir /var/lib/docker/devicemapper/devicemapper -pv #dd if=/dev/zero of=/var/lib/docker/devicemapper/devicemapper/data bs=1G count=0 seek=200 #增大到200G 0+0 records in 0+0 records out 0 bytes (0 B) copied, 0.000379694 s, 0.0 kB/s 查看 #ll /var/lib/docker/devicemapper/devicemapper/ total 0 -rw-r--r-- 1 root root 214748364800 Aug 16 16:13 data
然后启动docker，查看pool空间是否扩容成功
启动docker #systemctl start docker 查看docker的pool空间大小 # docker info Containers: 0 Running: 0 Paused: 0 Stopped: 0 Images: 0 Server Version: 1.12.0 Storage Driver: devicemapper Pool Name: docker-8:2-524675-pool Pool Blocksize: 65.54 kB Base Device Size: 10.74 GB Backing Filesystem: xfs Data file: /dev/loop0 Metadata file: /dev/loop1 Data Space Used: 38.2 MB Data Space Total: 214.7 GB ##可以看到pool的空间已经是200G Data Space Available: 27.45 GB Metadata Space Used: 1.507 MB Metadata Space Total: 2.147 GB Metadata Space Available: 2.146 GB Thin Pool Minimum Free Space: 21.47 GB Udev Sync Supported: true Deferred Removal Enabled: false Deferred Deletion Enabled: false Deferred Deleted Device Count: 0 Data loop file: /var/lib/docker/devicemapper/devicemapper/data Metadata loop file: /var/lib/docker/devicemapper/devicemapper/metadata Library Version: 1.02.107-RHEL7 (2015-10-14) Logging Driver: json-file ……
剩下的任务就是恢复之前备份的镜像和容器了，查看数据是否恢复成功
恢复images #docker load --input centos6.tar 6b5c6954e3d5: Loading layer [==================================================>] 202.2 MB/202.2 MB Loaded image: centos:centos6 [root@docker ~]# docker load --input centos7.tar Loaded image: centos:centos6 f59b7e59ceaa: Loading layer [==================================================>] 204.3 MB/204.3 MB Loaded image: centos:latest 恢复容器 [root@docker ~]# cat docker_testweb.tar | docker import - testweb:new sha256:12f36d4bd6105ec495893df2b356f3d1046ebecafa72a2c60f0ff487806f9dac [root@docker ~]# cat docker_web.tar | docker import - web:new sha256:ef7db6ffb3e0cf59d78dd46deba1e39f047960ec8835552b37c1d724b6ec42d8 查看镜像 #docker images REPOSITORY TAG IMAGE ID CREATED SIZE web new ef7db6ffb3e0 5 seconds ago 269.2 MB testweb new 12f36d4bd610 24 seconds ago 194.6 MB centos centos6 a3c09d36ab4a 2 weeks ago 194.6 MB centos latest 970633036444 2 weeks ago 196.7 MB
使用testweb镜像重新run起来一个容器，查看在扩容pool空间之间创建的文件是否可以恢复
# docker run -d -i -t --privileged -p 5000:80 --name web1 testweb:new /bin/bash 9edc76e959ba336381c58f9ccf570d04818961e9c6e91a164a7ea2b49c6b5a0a 进入容器 #docker attach 222140ba7bc5 [root@222140ba7bc5 ~]# ll total 20 -rw------- 1 root root 2525 Jul 29 14:12 anaconda-ks.cfg -rw-r--r-- 1 root root 7275 Jul 29 14:12 install.log -rw-r--r-- 1 root root 1680 Jul 29 14:11 install.log.syslog -rw-r--r-- 1 root root 14 Aug 16 06:12 testfile.txt #cat testfile.txt Hello docker! #说明是可以正常恢复的
补充：如果容器都使用默认的10g空间，迁移没有出现问题，但如果容器进行了动态扩展，比如默认10g空间，你扩展到了30g或者更高，那么备份恢复容器的时候，会出现下面报错
[c3c929fe] +job import(-, cocos-play, )
write /var/lib/docker/devicemapper/mnt/19b84c235a7ed914871c0f10b5b17af9fc89955b077ad85afe0ec6e4b253c92b/rootfs/home/www/cocosplay/uploads/neatgame/ah2ssp/r_scene_20.cpk: no space left on device
所以建议大家不要动态扩展容器磁盘空间，尽量使用volume来挂载！！！
第二种方法：使用磁盘
说明：在centos7.x安装的docker（1.12.0），使用磁盘方式扩容pool无法成功，一切准备OK之后，启动docker报错，如下：
启动docker服务 # systemctl start docker.service Job for docker.service failed because the control process exited with error code. See "systemctl status docker.service" and "journalctl -xe" for details. 报错了，然后根据提示，查看 #systemctl status docker.service ● docker.service - Docker Application Container Engine Loaded: loaded (/usr/lib/systemd/system/docker.service; disabled; vendor preset: disabled) Active: failed (Result: exit-code) since Wed 2016-08-17 14:55:40 CST; 53s ago Docs: https://docs.docker.com Process: 2532 ExecStart=/usr/bin/dockerd (code=exited, status=1/FAILURE) Main PID: 2532 (code=exited, status=1/FAILURE) Memory: 4.0K CGroup: /system.slice/docker.service Aug 17 14:55:39 docker systemd[1]: Starting Docker Application Container Engine... Aug 17 14:55:39 docker dockerd[2532]: time="2016-08-17T14:55:39.528322618+08:00" level=info msg="libcontainerd: new containerd process, pid: 2538" Aug 17 14:55:40 docker dockerd[2532]: time="2016-08-17T14:55:40.549224503+08:00" level=error msg="[graphdriver] prior storage driver \"devicemapper\" failed: devmapper: Unable to grow loopb...alid argument" Aug 17 14:55:40 docker dockerd[2532]: time="2016-08-17T14:55:40.549448713+08:00" level=fatal msg="Error starting daemon: error initializing graphdriver: devmapper: Unable to grow loopback f...alid argument" Aug 17 14:55:40 docker systemd[1]: docker.service: main process exited, code=exited, status=1/FAILURE Aug 17 14:55:40 docker systemd[1]: Failed to start Docker Application Container Engine. Aug 17 14:55:40 docker systemd[1]: Unit docker.service entered failed state. Aug 17 14:55:40 docker systemd[1]: docker.service failed. Hint: Some lines were ellipsized, use -l to show in full. Google了很多遍，依然无法找到类似的现象，不知道什么问题导致的。如果有哪位朋友遇到过，还请多多指教！
初学docker，不足之处，请多多指出！
在centos6.x和centos7.x环境下停机扩容docker的pool空间
原文地址：http://linuxg.blog.51cto.com/4410110/1839805
