码迷,mamicode.com
首页 > 其他好文 > 详细

CPU 架构SMP/NUMA,调优

时间:2019-09-27 19:13:22      阅读:100      评论:0      收藏:0      [点我收藏+]

标签:href   生成   特定   block   rest   worker   cat   enable   切换   

CPU 架构SMP/NUMA,调优

  • SMP:全称是“对称多处理”(Symmetrical Multi-Processing)技术 。

    是指在一个计算机上汇集了一组处理器(多CPU),各CPU之间共享内存以及总线。

    弱点:CPU变多后,但是内存和内存控制器只有一个,CPU是通过内存控制器访问内存的,所以多个CPU对内存控制器就会产生竞争,为了避免竞争就出现了NUMA架构。

技术图片

  • NUMA:Non Uniform Memory Access

    各个CPU有自己专用的内存(学名叫node),但是也可以访问别的CPU的专业内存,这时性能就会下降。

技术图片

Linux下NUMA相关的命令

  • numastat:查看节点的状态。

    可以看到自己CPU下的进程命中了自己的内存(node)多少次,没命中多少次,如果没命中的次数多了怎么办?就要强制把这进程绑定到自己的CPU上。

    经典的应用场景:把nginx的worker进程绑定到numa架构下的特定的CPU上,性能会大幅度提升。

  • numactl:可以实现把进程绑定到特定的CPU上

    但是,当机器重新启动后,绑定就失效了。如何解决呢,使用numad

  • numad:守护进程

  • numademo

非numa架构,如何把进程绑定到特定的CPU上呢,使用taskset

$ taskset -p -c 0,1,2-4,5,9 1234

上面命令的意思:把进程ip为1234的进程,绑定到0号,1号,2号,3号,4号,5号,9号CPU上。

这只是个例子,一般都绑定到1个CPU上,但是当系统重启后,还需要重新绑定,因为pid也变了。

Nginx比较厉害,可以配置哪个worker绑定到哪个CPU,事先写到配置nginx的配置文件里。

用上面的方法可以让某个进程专门让某几个CPU执行,但是这几个CPU除了要执行这个进程外,还要执行内核,怎么避免不让这些CPU不执行内核,只执行这个进程呢?

解决办法:假设有6个CPU,系统启动时,只让2个CPU执行内核的指令,其余4个不让执行内核指令。

编辑/etc/default/grub 文件,在 quiet splash ?后面加上 ?isolcpus=2,3。回到终端执行update-grub 。其将自动依照刚才编辑的配置文件(/etc/default/grub)生成为引导程序准备的配置文件(/boot/grub/grub.cfg)

参考:ubuntu中测试进程的处理器亲和性和vCPU的绑定

即便预留了CPU,被预留的CPU不处理内核的指令了,但是也要处理中断啊,那么如何把中断也不让这些CPU处理呢?

修改/proc/irq//smp_affinity文件

$ echo cpu_mask > /proc/irq/<irq_num>/smp_affinity

cpu_mask:用比特位表示。

0001:代表1号CPU
0011:代表1号和2号CPU
0101:代表1号和3号CPU

非numa架构,如何判断要把哪些进程绑定到特定CPU上呢?如何判断哪些线程被频繁的切换了呢?有如下命令

sar -q
使用sar之前要配置一下
1,修改:/etc/default/sysstat, 将 ENABLED=“false“ 改为ENABLED=“true“
2,执行:sudo /etc/init.d/sysstat restart
top
w
uptime
wmstat 1 5
下面的是查看CPU的使用率
mpstat 1 2
sar -P 1 2
iostat -c 1
cat /proc/stat

命令iostat -c 1的截图,含义查看CPU的占用率

  • %user:用户进程的CPU占用率
  • %system:内核的CPU占用率
  • %iowait:io处理的CPU占用率
  • %steal:虚拟机的CPU占用率
  • %idle:CPU空闲
ys:~$ iostat -c 1
Linux 4.15.0-20-generic (ys-VirtualBox)         2019年09月27日  _x86_64_        (1 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.26    0.03    0.08    0.05    0.00   99.57


avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.00    0.00    0.00    0.00    0.00  100.00


avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.00    0.00    0.00    0.00    0.00  100.00


avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.00    0.00    0.00    0.00    0.00  100.00

命令【dstat】比较强大,可以直观的得到如下信息:

       --top-bio
           show most expensive block I/O process
           显示最消耗blockI/O的进程
       --top-bio-adv
           show most expensive block I/O process (incl. pid and other stats)
           显示最消耗blockI/O的进程
       --top-childwait
           show process waiting for child the most
           显示等待子进程时间最长的父进程
       --top-cpu
           show most expensive CPU process
           显示最消耗CPU的进程
       --top-cpu-adv
           show most expensive CPU process (incl. pid and other stats)
           显示最消耗CPU的进程
       --top-cputime
           show process using the most CPU time (in ms)
           显示最消耗CPU时间片的进程
       --top-cputime-avg
           show process with the highest average timeslice (in ms)
           显示最消耗CPU时间片的进程
       --top-int
           show most frequent interrupt
           显示最经常发生的中断信号
       --top-io
           show most expensive I/O process
           显示最消耗I/O的进程
       --top-io-adv
           show most expensive I/O process (incl. pid and other stats)
           显示最消耗I/O的进程
       --top-latency
           show process with highest total latency (in ms)
           显示等待时间最长的进程
       --top-latency-avg
           show process with the highest average latency (in ms)
           显示等待时间最长的进程
       --top-mem
           show process using the most memory
           显示使用内存最多的进程

命令【sar -w 1(秒为单位)】比较强大,可以直观的得到进程在指定秒数里的平均切换次数

c/c++ 学习互助QQ群:877684253

技术图片

本人微信:xiaoshitou5854

CPU 架构SMP/NUMA,调优

标签:href   生成   特定   block   rest   worker   cat   enable   切换   

原文地址:https://www.cnblogs.com/xiaoshiwang/p/11599492.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!