监控CPU 上下文切换

理解CPU 上下文切换

根据任务的不同，CPU 的上下文切换就可以分为几个不同的场景，也就是进程上下文切换、线程上下文切换以及中断上下文切换。

进程上下文切换
线程上下文切换
中断上下文切换

查看系统的上下文切换

过多的上下文切换，会把 CPU 时间消耗在寄存器、内核栈以及虚拟内存等数据的保存和恢复上，缩短进程真正运行的时间，造成系统性能大幅下降。

那我们可以使用 vmstat 这个工具，来查询系统的上下文切换情况。vmstat 是一个常用的系统性能分析工具，主要用来分析系统的内存使用情况，也常用来分析 CPU 上下文切换和中断的次数。

# vmstat 5  # 每5s输出一组数据

image.png

需要特别关注下列内容：

r（Running or Runnable）
正在运行和等待CPU的线程队列
b（Blocked）
处于不可中断睡眠状态的进程数
in（interrupt）
每秒中断的次数
cs (context switch)
每秒上下文切换的次数

查看进程的上下文切换

vmstat只给出了系统总体的上下文切换情况，要想查看每个进程的详细情况，就需要使用我们前面提到过的 pidstat 了。

pidstat可以查看每个进程上下文切换的情况。

常用的参数：
- u：默认的参数，显示各个进程的cpu使用统计
- r：显示各个进程的内存使用统计
- d：显示各个进程的IO使用情况
- p：指定进程号
- w：显示每个进程的上下文切换情况
- t：显示选择任务的线程的统计信息外的额外信息

# pidstat -w 5

image.png

这里面有2个重点关注的对象：

cswch（每秒自愿上下文切换）
自愿上下文切换，是指进程无法获取所需的资源，导致的上下文切换。等待I/O时，就会发生自愿上下文切换。
nvcswch（每秒非自愿上下文切换）
进程由于时间片已到等原因，被系统强制调度，进而发生的上下文切换，比如说，大量进程都在争抢 CPU 时，就容易发生非自愿上下文切换。

案例测试

先运行 vmstat

# vmstat 1 1
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 3  0      0 234340 159320 1182652    0    0     5    31    7    5  0  0 99  0  0

接着第一个终端运行 sysbench

# sysbench --threads=4 --max-time=300 threads run  # 4个线程，运行5分钟

第二个终端在运行 vmstat

# vmstat 1
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs    us sy id wa st
 4  0      0 233500 159320 1182772   0    0     5    31    7    9    0  0 99  0  0
 4  0      0 233524 159320 1182772   0    0     0     0  254 1399603 19 81  0  0  0
 4  0      0 233140 159324 1182788   0    0     0  2248  568 1349603 19 81  0  0  0
 4  0      0 233148 159324 1182772   0    0     0     0  260 1379335 18 82  0  0  0
...

此时观察发现：
1、cs 列：指标上升，切换次数迅速上升
2、us（user）和 sy（system）列：这两列的 CPU 使用率加起来上升到了 100%，其中系统 CPU 使用率，也就是 sy 列高达 81%，说明 CPU 主要是被内核占用了。
3、r 列：正在运行和等待CPU的线程数队列值为4

综合这几个指标可以得出：系统的就绪队列太长，也就是正在运行和等待的CPU的进程数过多，导致了大量的上下文切换，而上下文切换导致了系统的CPU占用率过高。

继续分析：再用第三个终端用pidstat命令查看

# pidstat -w -u -t 1  # -w 表示输出进程切换指标，-u表示输出CPU使用的指标，-t 表示包括统计线程上下文切换

每秒切换多少CPU上下文次数才算正常

这个数值其实取决于系统本身的 CPU 性能。如果系统的上下文切换次数比较稳定，那么从数百到一万以内，都应该算是正常的。但当上下文切换次数超过一万次，或者切换次数出现数量级的增长时，就很可能已经出现了性能问题。

这时，你还需要根据上下文切换的类型，再做具体分析。比方说：

自愿上下文切换变多了，说明进程都在等待资源，有可能发生了 I/O 等其他问题；
非自愿上下文切换变多了，说明进程都在被强制调度，也就是都在争抢 CPU，说明 CPU 的确成了瓶颈；
中断次数变多了，说明 CPU 被中断处理程序占用，还需要通过查看 /proc/interrupts 文件来分析具体的中断类型。