码迷，mamicode.com
首页 > 其他好文 > 详细

CGroup 介绍、应用实例及原理描述【转】

时间：2018-12-16 23:33:46      阅读：255      评论：0      收藏：0      [点我收藏+]

标签：format   附加   任务   body   ls -l   机制   特点   默认   clipboard   

转自：https://www.cnblogs.com/caoxiaojian/p/5633430.html

CGroup 介绍

CGroup 是 Control Groups 的缩写，是 Linux 内核提供的一种可以限制、记录、隔离进程组 (process groups) 所使用的物力资源 (如 cpu memory i/o 等等) 的机制。2007 年进入 Linux 2.6.24 内核，CGroups 不是全新创造的，它将进程管理从 cpuset 中剥离出来，作者是 Google 的 Paul Menage。CGroups 也是 LXC 为实现虚拟化所使用的资源管理手段。

CGroup 功能及组成

CGroup 是将任意进程进行分组化管理的 Linux 内核功能。CGroup 本身是提供将进程进行分组化管理的功能和接口的基础结构，I/O 或内存的分配控制等具体的资源管理功能是通过这个功能来实现的。这些具体的资源管理功能称为 CGroup 子系统或控制器。CGroup 子系统有控制内存的 Memory 控制器、控制进程调度的 CPU 控制器等。运行中的内核可以使用的 Cgroup 子系统由/proc/cgroup 来确认。

CGroup 提供了一个 CGroup 虚拟文件系统，作为进行分组管理和各子系统设置的用户接口。要使用 CGroup，必须挂载 CGroup 文件系统。这时通过挂载选项指定使用哪个子系统。

Cgroups提供了以下功能：
    1.限制进程组可以使用的资源数量（Resource limiting ）。比如：memory子系统可以为进程组设定一个memory使用上限，一旦进程组使用的内存达到限额再申请内存，就会出发OOM（out of memory）。
    2.进程组的优先级控制（Prioritization ）。比如：可以使用cpu子系统为某个进程组分配特定cpu share。
    3.记录进程组使用的资源数量（Accounting ）。比如：可以使用cpuacct子系统记录某个进程组使用的cpu时间
    4.进程组隔离（Isolation）。比如：使用ns子系统可以使不同的进程组使用不同的namespace，以达到隔离的目的，不同的进程组有各自的进程、网络、文件系统挂载空间。
    5.进程组控制（Control）。比如：使用freezer子系统可以将进程组挂起和恢复。

CGroup 支持的文件种类

表 1. CGroup 支持的文件种类
文件名R/W用途

Release_agent

RW

删除分组时执行的命令，这个文件只存在于根分组

Notify_on_release

RW

设置是否执行 release_agent。为 1 时执行

Tasks

RW

属于分组的线程 TID 列表

Cgroup.procs

R

属于分组的进程 PID 列表。仅包括多线程进程的线程 leader 的 TID，这点与 tasks 不同

Cgroup.event_control

RW

监视状态变化和分组删除事件的配置文件

CGroup 相关概念解释

  1. 任务（task）。在 cgroups 中，任务就是系统的一个进程；

  2. 控制族群（control group）。控制族群就是一组按照某种标准划分的进程。Cgroups 中的资源控制都是以控制族群为单位实现。一个进程可以加入到某个控制族群，也从一个进程组迁移到另一个控制族群。一个进程组的进程可以使用 cgroups 以控制族群为单位分配的资源，同时受到 cgroups 以控制族群为单位设定的限制；

  3. 层级（hierarchy）。控制族群可以组织成 hierarchical 的形式，既一颗控制族群树。控制族群树上的子节点控制族群是父节点控制族群的孩子，继承父控制族群的特定的属性；

  4. 子系统（subsystem）。一个子系统就是一个资源控制器，比如 cpu 子系统就是控制 cpu 时间分配的一个控制器。子系统必须附加（attach）到一个层级上才能起作用，一个子系统附加到某个层级以后，这个层级上的所有控制族群都受到这个子系统的控制。

相互关系

  1. 每次在系统中创建新层级时，该系统中的所有任务都是那个层级的默认 cgroup（我们称之为 root cgroup，此 cgroup 在创建层级时自动创建，后面在该层级中创建的 cgroup 都是此 cgroup 的后代）的初始成员；

  2. 一个子系统最多只能附加到一个层级；

  3. 一个层级可以附加多个子系统；

  4. 一个任务可以是多个 cgroup 的成员，但是这些 cgroup 必须在不同的层级；

  5. 系统中的进程（任务）创建子进程（任务）时，该子任务自动成为其父进程所在 cgroup 的成员。然后可根据需要将该子任务移动到不同的 cgroup 中，但开始时它总是继承其父任务的 cgroup。

图 1. CGroup 层级图
技术分享图片

图 1 所示的 CGroup 层级关系显示，CPU 和 Memory 两个子系统有自己独立的层级系统，而又通过 Task Group 取得关联关系。

CGroup 特点

在 cgroups 中，任务就是系统的一个进程。

控制族群（control group）。控制族群就是一组按照某种标准划分的进程。Cgroups 中的资源控制都是以控制族群为单位实现。一个进程可以加入到某个控制族群，也从一个进程组迁移到另一个控制族群。一个进程组的进程可以使用 cgroups 以控制族群为单位分配的资源，同时受到 cgroups 以控制族群为单位设定的限制。

层级（hierarchy）。控制族群可以组织成 hierarchical 的形式，既一颗控制族群树。控制族群树上的子节点控制族群是父节点控制族群的孩子，继承父控制族群的特定的属性。

子系统（subsytem）。一个子系统就是一个资源控制器，比如 cpu 子系统就是控制 cpu 时间分配的一个控制器。子系统必须附加（attach）到一个层级上才能起作用，一个子系统附加到某个层级以后，这个层级上的所有控制族群都受到这个子系统的控制。

子系统的介绍

blkio   -- 这个子系统为块设备设定输入/输出限制，比如物理设备（磁盘，固态硬盘，USB 等等）。
cpu     -- 这个子系统使用调度程序提供对 CPU 的 cgroup 任务访问。
cpuacct -- 这个子系统自动生成 cgroup 中任务所使用的 CPU 报告。
cpuset  -- 这个子系统为 cgroup 中的任务分配独立 CPU（在多核系统）和内存节点。
devices -- 这个子系统可允许或者拒绝 cgroup 中的任务访问设备。

freezer -- 这个子系统挂起或者恢复 cgroup 中的任务。
memory  -- 这个子系统设定 cgroup 中任务使用的内存限制，并自动生成由那些任务使用的内存资源报告。
net_cls -- 这个子系统使用等级识别符（classid）标记网络数据包，可允许 Linux 流量控制程序（tc）识别从具体 cgroup 中生成的数据包。

CGroup 应用架构

图 2. CGroup 典型应用架构图
技术分享图片

如图 2 所示，CGroup 技术可以被用来在操作系统底层限制物理资源，起到 Container 的作用。图中每一个 JVM 进程对应一个 Container Cgroup 层级，通过 CGroup 提供的各类子系统，可以对每一个 JVM 进程对应的线程级别进行物理限制，这些限制包括 CPU、内存等等许多种类的资源。下一部分会具体对应用程序进行 CPU 资源隔离进行演示。

cgroup的安装

其实安装很简单，最佳实践就是yum直接安装（centos下）

配置文件

/etc/cgconfig.conf  

  1. mount {          cpuset  = /cgroup/cpuset;          
                         cpu     = /cgroup/cpu;          
                         cpuacct = /cgroup/cpuacct;          
                         memory  = /cgroup/memory;          
                         devices = /cgroup/devices;          
                         freezer = /cgroup/freezer;          
                         net_cls = /cgroup/net_cls;          
                          blkio   = /cgroup/blkio;              
                            }  

cgroup section的语法格式如下

  1. group <name> {  
  2.     [<permissions>]  
  3.     <controller> {  
  4.         <param name> = <param value>;  
  5.         …  
  6.     }  
  7.     …}  

name: 指定cgroup的名称
permissions：可选项，指定cgroup对应的挂载点文件系统的权限，root用户拥有所有权限。
controller：子系统的名称
param name 和 param value：子系统的属性及其属性值

 

 

7.1 配置对mysql实例的资源限制

    前提：MySQL数据库已在机器上安装

    7.1.1 修改cgconfig.conf文件

 

[plain] view plain copy
 
  1. mount {  
  2.     cpuset  = /cgroup/cpuset;  
  3.     cpu = /cgroup/cpu;  
  4.     cpuacct = /cgroup/cpuacct;  
  5.     memory  = /cgroup/memory;  
  6.         blkio   = /cgroup/blkio;  
  7. }  
  8.   
  9. group mysql_g1 {    
  10.     cpu {  
  11.             cpu.cfs_quota_us = 50000;  
  12.             cpu.cfs_period_us = 100000;  
  13.     }  
  14.     cpuset {    
  15.             cpuset.cpus = "3";    
  16.             cpuset.mems = "0";    
  17.     }    
  18.     cpuacct{  
  19.   
  20.     }  
  21.     memory {    
  22.             memory.limit_in_bytes=104857600;  
  23.             memory.swappiness=0;  
  24.             # memory.max_usage_in_bytes=104857600;  
  25.             # memory.oom_control=0;  
  26.     }   
  27.     blkio  {  
  28.            blkio.throttle.read_bps_device="8:0 524288";  
  29.            blkio.throttle.write_bps_device="8:0 524288";  
  30.     }   
  31. }   

 

    7.1.2 配置文件的部分解释。

    cpu：cpu使用时间限额。

    cpu.cfs_period_us和cpu.cfs_quota_us来限制该组中的所有进程在单位时间里可以使用的cpu时间。这里的cfs是完全公平调度器的缩写。cpu.cfs_period_us就是时间周期(微秒)，默认为100000，即百毫秒。cpu.cfs_quota_us就是在这期间内可使用的cpu时间(微秒)，默认-1，即无限制。(cfs_quota_us是cfs_period_us的两倍即可限定在双核上完全使用)。

    cpuset：cpu绑定

    我们限制该组只能在0一共1个超线程上运行。cpuset.mems是用来设置内存节点的。

    本例限制使用超线程0上的第四个cpu线程。

    其实cgconfig也就是帮你把配置文件中的配置整理到/cgroup/cpuset这个目录里面，比如你需要动态设置mysql_group1/ cpuset.cpus的CPU超线程号，可以采用如下的办法。

[plain] view plain copy
 
  1. [root@localhost ~]# echo "0" > mysql_group1/ cpuset.cpus  

    cpuacct：cpu资源报告


    memory：内存限制 

    内存限制我们主要限制了MySQL可以使用的内存最大大小memory.limit_in_bytes=256M。而设置swappiness为0是为了让操作系统不会将MySQL的内存匿名页交换出去。

    blkio：BLOCK IO限额

    blkio.throttle.read_bps_device="8:0 524288"; #每秒读数据上限
    blkio.throttle.write_bps_device="8:0 524288"; #每秒写数据上限

    其中8:0对应主设备号和副设备号，可以通过ls -l /dev/sda查看

 

[plain] view plain copy
 
  1. [root@localhost /]# ls -l /dev/sda  
  2. brw-rw----. 1 root disk 8, 0 Sep 15 04:19 /dev/sda  

    7.1.3 拓展知识

 

    现在较新的服务器CPU都是numa结构<非一致内存访问结构（NUMA：Non-Uniform Memory Access）>，使用numactl --hardware可以看到numa各个节点的CPU超线程号，以及对应的节点号。

    本例结果如下：

 

[plain] view plain copy
 
  1. [root@localhost /]# numactl --hardware   
  2. available: 1 nodes (0)  
  3. node 0 cpus: 0 1 2 3  
  4. node 0 size: 1023 MB  
  5. node 0 free: 68 MB  
  6. node distances:  
  7. node   0   
  8.   0:  10   

    以下是较高端服务器的numa信息，仅作参考。

 

 

[plain] view plain copy
 
  1. [root@localhost ~]# numactl --hardware     
  2. available: 4 nodes (0-3)  
  3. node 0 cpus: 0 4 8 12 16 20 24 28 32 36 40 44 48 52 56 60  
  4. node 0 size: 16338 MB  
  5. node 0 free: 391 MB  
  6. node 1 cpus: 1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61  
  7. node 1 size: 16384 MB  
  8. node 1 free: 133 MB  
  9. node 2 cpus: 2 6 10 14 18 22 26 30 34 38 42 46 50 54 58 62  
  10. node 2 size: 16384 MB  
  11. node 2 free: 137 MB  
  12. node 3 cpus: 3 7 11 15 19 23 27 31 35 39 43 47 51 55 59 63  
  13. node 3 size: 16384 MB  
  14. node 3 free: 186 MB  
  15. node distances:  
  16. node   0   1   2   3   
  17.   0:  10  20  30  20   
  18.   1:  20  10  20  30   
  19.   2:  30  20  10  20   
  20.   3:  20  30  20  10  

 

    7.1.4 修改cgrules.conf文件

 

[plain] view plain copy
 
  1. [root@localhost ~]# vi /etc/cgrules.conf  
  2. # /etc/cgrules.conf  
  3. #The format of this file is described in cgrules.conf(5)  
  4. #manual page.  
  5. #  
  6. # Example:  
  7. #<user>         <controllers>   <destination>  
  8. #@student       cpu,memory      usergroup/student/  
  9. #peter          cpu             test1/  
  10. #%              memory          test2/  
  11. *:/usr/local/mysql/bin/mysqld * mysql_g1  

    注：共分为3个部分，分别为需要限制的实例，限制的内容（如cpu，memory），挂载目标。

    7.2 使配置生效

 

[plain] view plain copy
 
  1. [root@localhost ~]# /etc/init.d/cgconfig restart  
  2. Stopping cgconfig service:                                 [  OK  ]  
  3. Starting cgconfig service:                                 [  OK  ]  
  4. [root@localhost ~]# /etc/init.d/cgred restart  
  5. Stopping CGroup Rules Engine Daemon...                     [  OK  ]  
  6. Starting CGroup Rules Engine Daemon:                       [  OK  ]  

    注：重启顺序为cgconfig -> cgred ，更改配置文件后两个服务需要重启，且顺序不能错。

 

    7.3 启动MySQL，查看MySQL是否处于cgroup的限制中

 

[plain] view plain copy
 
  1. [root@localhost ~]# ps -eo pid,cgroup,cmd | grep -i mysqld  
  2. 29871 blkio:/;net_cls:/;freezer:/;devices:/;memory:/;cpuacct:/;cpu:/;cpuset:/ /bin/sh ./bin/mysqld_safe --defaults-file=/etc/my.cnf --basedir=/usr/local/mysql/ --datadir=/usr/local/mysql/data/  
  3. 30219 blkio:/;net_cls:/;freezer:/;devices:/;memory:/;cpuacct:/;cpu:/;cpuset:/mysql_g1 /usr/local/mysql/bin/mysqld --defaults-file=/etc/my.cnf --basedir=/usr/local/mysql/ --datadir=/usr/local/mysql/data/ --plugin-dir=/usr/local/mysql//lib/plugin --user=mysql --log-error=/usr/local/mysql/data//localhost.localdomain.err --pid-file=/usr/local/mysql/data//localhost.localdomain.pid --socket=/tmp/mysql.sock --port=3306  
  4. 30311 blkio:/;net_cls:/;freezer:/;devices:/;memory:/;cpuacct:/;cpu:/;cpuset:/ grep -i mysqld  

    7.4 资源限制验证

    使用mysqlslap对mysql进行压力测试，看mysql使用资源是否超过限制。

    7.4.1 在shell窗口1用mysqlslap对mysql进行压力测试。

 

[plain] view plain copy
 
  1. [root@localhost /]# /usr/local/mysql/bin/mysqlslap --defaults-file=/etc/my.cnf --concurrency=150 --iterations=1 --number-int-cols=8 --auto-generate-sql --auto-generate-sql-load-type=mixed --engine=innodb --number-of-queries=100000 -ujesse -pjesse --number-char-cols=35 --auto-generate-sql-add-autoincrement --debug-info -P3306 -h127.0.0.1  

    7.4.2 在shell窗口2查看mysql对cpu，内存的使用
技术分享图片

 

    可见：cpu限制在了第四个核心上，且对第四个核心的使用限制在50%。

    7.4.3 在shell窗口3查看io的消耗

技术分享图片

    可见：mysql对io的读及写消耗均限制在2M每秒以内。

8 cgroup实例分析（手工动态验证）

    还原配置文件/etc/cgconfig.conf及/etc/cgrules.conf 为默认配置。测试实例依然为mysql，测试工具为mysqlslap。

    开启cgconfig及cgrules 服务。

 

[plain] view plain copy
 
  1. [root@localhost /]# /etc/init.d/cgconfig restart  
  2. Stopping cgconfig service:                                 [  OK  ]  
  3. Starting cgconfig service:                                 [  OK  ]  
  4. [root@localhost /]# /etc/init.d/cgred restart  
  5. Stopping CGroup Rules Engine Daemon...                     [  OK  ]  
  6. Starting CGroup Rules Engine Daemon:                       [  OK  ]  

 

    开启mysqlslap压力测试程序。

 

[plain] view plain copy
 
  1. [root@localhost /]# /usr/local/mysql/bin/mysqlslap --defaults-file=/etc/my.cnf --concurrency=150 --iterations=1 --number-int-cols=8 --auto-generate-sql --auto-generate-sql-load-type=mixed --engine=innodb --number-of-queries=100000 -ujesse -pjesse --number-char-cols=35 --auto-generate-sql-add-autoincrement --debug-info -P3306 -h127.0.0.1  

    通过htop查看资源消耗。

 

技术分享图片

    8.1 cpu限制实例

    限制mysql使用一个核，如第2个核，且对该核的使用不超过50%

 

[plain] view plain copy
 
  1. [root@localhost /]# mkdir -p /cgroup/cpu/foo/  
  2. [root@localhost /]# mkdir -p /cgroup/cpuset/foo/  
  3. [root@localhost /]# echo 50000 > /cgroup/cpu/foo/cpu.cfs_quota_us  
  4. [root@localhost /]# echo 100000 > /cgroup/cpu/foo/cpu.cfs_period_us  
  5. [root@localhost /]# echo "0" > /cgroup/cpuset/foo/cpuset.mems  
  6. [root@localhost /]# echo "1" > /cgroup/cpuset/foo/cpuset.cpus  
  7. [root@localhost /]# echo 28819 > /cgroup/cpu/foo/tasks   

 

    其中：28819为mysqld的进程号。

技术分享图片

    8.2 内存限制实例

    限制mysql使用内存为不超过512M

    跑一个消耗内存脚本

 

[plain] view plain copy
 
  1. x=‘a‘  
  2. while [ True ];do  
  3.     x=$x$x  
  4. done;  

技术分享图片

 

    内存的消耗在不断增加，对其进行限制，使其使用内存在500M以内

 

[plain] view plain copy
 
  1. [root@localhost /]# mkdir -p /cgroup/memory/foo  
  2. [root@localhost /]# echo 524288000 >  /cgroup/memory/foo/memory.limit_in_bytes  
  3. [root@localhost /]# echo 44476 > /cgroup/memory/foo/tasks   

技术分享图片
    内存使用得到了有效控制。

 

    8.3 IO限制实例

    跑一个消耗IO的测试

 

[plain] view plain copy
 
  1. [root@localhost ~]# dd if=/dev/sda of=/dev/null   

    通过iotop看io占用情况，磁盘读取速度到了50M/s

 

技术分享图片 
    限制读取速度为10M/S

 

[plain] view plain copy
 
  1. [root@localhost ~]# mkdir -p /cgroup/blkio/foo  
  2. [root@localhost ~]# echo ‘8:0   10485760‘ >  /cgroup/blkio/foo/blkio.throttle.read_bps_device  
  3. [root@localhost ~]# echo 45033 > /cgroup/blkio/foo/tasks  

    注1:45033为dd的进程号

 

    注2：8:0对应主设备号和副设备号，可以通过ls -l /dev/sda查看

 

[plain] view plain copy
 
  1. [root@localhost ~]# ls -l /dev/sda  
  2. brw-rw----. 1 root disk 8, 0 Sep 15 04:19 /dev/sda  

 

9 cgroup小结

    使用cgroup临时对进程进行调整，直接通过命令即可，如果要持久化对进程进行控制，即重启后依然有效，需要写进配置文件/etc/cgconfig.conf及/etc/cgrules.conf 

   

****************************************************************************************
    原文地址：http://blog.csdn.net/jesseyoung/article/details/39077829
    博客主页：http://blog.csdn.net/jesseyoung

 





CGroup 介绍、应用实例及原理描述【转】

标签：format   附加   任务   body   ls -l   机制   特点   默认   clipboard   

原文地址：https://www.cnblogs.com/sky-heaven/p/10128329.html

踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！