得益于 Go 语言优秀的运行时调度系统,即使开发人员没有多线程编程经验,也能很容易地开发并发程序。

调度系统,其中最核心的就是 GMP 的设计,欲深入理解 Go 语言设计的读者都应该看过这些知识。但是,在通过相关博客或者源码学习时,如果不能和实际的代码进行结合,在理解上或许不够深刻。

本文介绍一种方式,即使用 GODEBUG 工具,通过实际运行代码来直观地查看 Go 运行时的调度过程。

调度简述

首先,我们先通过程序某时刻的调度快照示意图,通过解析快照状态来简单回顾一下 Go 调度系统。

如上图所示,我们设定了 GOMAXPROCS=2,即 2 个处理器。

当前时刻, P0 和 P1 上正分别挂载着 OS 线程 M1 与 M4,其上分别执行着 G8 和 G17 的代码。P0 的 LRQ(Local Run Queue,本地运行队列)有 3 个 G 在排队等待,而 P1 的 LRQ 已无等待的 G;GRQ (Global Run Queue,全局运行队列)中有 5 个 G 。

网络轮询器 Net Poller 上有一个陷入异步网络调用的 G9;M2 由于 G11 的某种同步系统调用而阻塞;M3 处于空闲状态,时刻准备着当 M1 或 M4 被阻塞时而派上用场。

由于 P1 的 LRQ 已无等待的 G,当 G17 被调度时,它将进行 Wrok Stealing (任务窃取),其窃取源来自于其他处理器 P 的 LRQ(这里是 P1 的 LRQ)、GRQ 和 Net Poller,具体规则见runtime.schedule()函数。

GODEBUG 工具

启用 GODEBUG 工具非常简单,只需要设置环境变量 GODEBUG 即可。它可以让 Go 程序在运行过程中输出调试信息,能够根据参数配置直观地看到调度器或垃圾回收等详细信息。

GODEBUG 的详细描述介绍可见源码runtime/extern.go文件。

本文我们关心的调试内容是调度器,因此我们只使用 GODEBUG 的两个参数 schedtrace 与 scheddetail。

  • schedtrace=n:设置运行时在每 n 毫秒输出一行调度器的概要信息。

  • scheddetail: 输出更详细的调度信息。

示例代码

我们使用的示例代码如下

package mainimport ("sync"
)var wg sync.WaitGroupfunc main() {for i := 0; i < 20; i++ {wg.Add(1)go work(&wg)}wg.Wait()
}func work(wg *sync.WaitGroup) {var counter intfor i := 0; i < 1e10; i++ {counter++}wg.Done()
}

代码比较简单,我们启动 20 个 CPU 密集型的 G 任务,它们受到 WaitGroup 的限制。当所有计算任务的 G 完成了各自的累加工作,程序才会结束执行。

schedtrace 调度概要输出

下面,我们设定 GODEBUG=schedtrace=1000,这意味着 1s 输出一次程序的调度概要情况。

$ go build -o demo main.go$ GOMAXPROCS=4 GODEBUG=schedtrace=1000 ./demo
SCHED 0ms: gomaxprocs=4 idleprocs=3 threads=2 spinningthreads=0 idlethreads=0 runqueue=0 [0 0 0 0]
SCHED 1003ms: gomaxprocs=4 idleprocs=0 threads=5 spinningthreads=0 idlethreads=0 runqueue=14 [1 0 1 0]
SCHED 2012ms: gomaxprocs=4 idleprocs=0 threads=5 spinningthreads=0 idlethreads=0 runqueue=10 [2 1 2 1]
SCHED 3018ms: gomaxprocs=4 idleprocs=0 threads=5 spinningthreads=0 idlethreads=0 runqueue=12 [0 0 0 4]
SCHED 4029ms: gomaxprocs=4 idleprocs=0 threads=5 spinningthreads=0 idlethreads=0 runqueue=15 [0 0 1 0]
SCHED 5031ms: gomaxprocs=4 idleprocs=0 threads=5 spinningthreads=0 idlethreads=0 runqueue=9 [1 2 2 2]
SCHED 6035ms: gomaxprocs=4 idleprocs=0 threads=5 spinningthreads=0 idlethreads=0 runqueue=15 [0 1 0 0]
SCHED 7044ms: gomaxprocs=4 idleprocs=0 threads=5 spinningthreads=0 idlethreads=0 runqueue=8 [1 2 3 2]
SCHED 8054ms: gomaxprocs=4 idleprocs=0 threads=5 spinningthreads=0 idlethreads=0 runqueue=12 [0 0 4 0]
SCHED 9055ms: gomaxprocs=4 idleprocs=0 threads=5 spinningthreads=0 idlethreads=0 runqueue=6 [3 2 3 2]
SCHED 10063ms: gomaxprocs=4 idleprocs=0 threads=5 spinningthreads=0 idlethreads=0 runqueue=11 [1 2 1 1]
SCHED 11072ms: gomaxprocs=4 idleprocs=0 threads=5 spinningthreads=0 idlethreads=0 runqueue=6 [3 2 3 2]
...

其中,

  • SCHED:代表程序启动到输出当前行时的运行时间,这个输出间隔受到 schedtrace 值影响。

  • gomaxprocs:GOMAXPROCS 值,这里我们设定了其为 4。

  • idleprocs:空闲的 P 数量。

  • threads:运行时管理的线程数。

  • spinningthreads:自旋线程,处于”自旋“状态的线程数(避免频繁的线程创建与销毁)。

  • idlethreads:空闲线程数。

  • runqueue:全局队列 GRQ 中的 G 数量。

  • [2 1 2 1]:代表 4 个 P 的本地队列 LRQ 中 G 数量分别是 2、1、2、1 。

scheddetail 调度详细输出

当我们想要查看更详细的调度信息时,需要增加 scheddetail 参数。

$ GOMAXPROCS=4 GODEBUG=schedtrace=1000,scheddetail=1 ./demo
SCHED 0ms: gomaxprocs=4 idleprocs=2 threads=3 spinningthreads=1 idlethreads=0 runqueue=0 gcwaiting=0 nmidlelocked=0 stopwait=0 sysmonwait=0P0: status=1 schedtick=0 syscalltick=0 m=0 runqsize=0 gfreecnt=0 timerslen=0P1: status=1 schedtick=0 syscalltick=0 m=2 runqsize=0 gfreecnt=0 timerslen=0P2: status=0 schedtick=0 syscalltick=0 m=-1 runqsize=0 gfreecnt=0 timerslen=0P3: status=0 schedtick=0 syscalltick=0 m=-1 runqsize=0 gfreecnt=0 timerslen=0M2: p=1 curg=-1 mallocing=0 throwing=0 preemptoff= locks=2 dying=0 spinning=false blocked=false lockedg=-1M1: p=-1 curg=-1 mallocing=0 throwing=0 preemptoff= locks=2 dying=0 spinning=false blocked=false lockedg=-1M0: p=0 curg=-1 mallocing=0 throwing=0 preemptoff= locks=1 dying=0 spinning=false blocked=false lockedg=1G1: status=1() m=-1 lockedm=0G2: status=1() m=-1 lockedm=-1G3: status=1() m=-1 lockedm=-1
SCHED 1000ms: gomaxprocs=4 idleprocs=0 threads=5 spinningthreads=0 idlethreads=0 runqueue=15 gcwaiting=0 nmidlelocked=0 stopwait=0 sysmonwait=0P0: status=1 schedtick=45 syscalltick=0 m=2 runqsize=0 gfreecnt=0 timerslen=0P1: status=1 schedtick=46 syscalltick=0 m=3 runqsize=0 gfreecnt=0 timerslen=0P2: status=1 schedtick=45 syscalltick=0 m=4 runqsize=1 gfreecnt=0 timerslen=0P3: status=1 schedtick=45 syscalltick=0 m=0 runqsize=0 gfreecnt=0 timerslen=0M4: p=2 curg=-1 mallocing=0 throwing=0 preemptoff= locks=1 dying=0 spinning=false blocked=false lockedg=-1M3: p=1 curg=-1 mallocing=0 throwing=0 preemptoff= locks=1 dying=0 spinning=false blocked=false lockedg=-1M2: p=0 curg=40 mallocing=0 throwing=0 preemptoff= locks=0 dying=0 spinning=false blocked=false lockedg=-1M1: p=-1 curg=-1 mallocing=0 throwing=0 preemptoff= locks=2 dying=0 spinning=false blocked=false lockedg=-1M0: p=3 curg=-1 mallocing=0 throwing=0 preemptoff= locks=1 dying=0 spinning=false blocked=false lockedg=-1G1: status=4(semacquire) m=-1 lockedm=-1G2: status=4(force gc (idle)) m=-1 lockedm=-1G3: status=4(GC sweep wait) m=-1 lockedm=-1G17: status=4(GC scavenge wait) m=-1 lockedm=-1G33: status=1() m=-1 lockedm=-1G34: status=1() m=-1 lockedm=-1G35: status=1() m=-1 lockedm=-1G36: status=1() m=-1 lockedm=-1G37: status=1() m=-1 lockedm=-1G38: status=1() m=-1 lockedm=-1G39: status=1() m=-1 lockedm=-1G40: status=2() m=2 lockedm=-1G41: status=1() m=-1 lockedm=-1G42: status=1() m=-1 lockedm=-1G43: status=1() m=-1 lockedm=-1G44: status=1() m=-1 lockedm=-1G45: status=1() m=-1 lockedm=-1G46: status=1() m=-1 lockedm=-1G47: status=1() m=-1 lockedm=-1G48: status=1() m=-1 lockedm=-1G49: status=1() m=-1 lockedm=-1G50: status=1() m=-1 lockedm=-1G51: status=1() m=-1 lockedm=-1G52: status=1() m=-1 lockedm=-1
...

当增加了 scheddetail 参数后,其输出信息不仅包含了 SCHED 的一行概览信息,还增加了 GPM 三个实体状况的详细描述。

P
  • status:P 的运行状态,其详细分类与描述可查看源码 runtime/runtime2.go 的代码。

  • schedtick:随着每次调度行为累加,代表 P 的调度次数。

  • syscalltick:随着每次系统调用行为累加,代表 P 的系统调用次数。

  • m: 绑定的 M 编号,例如在 SCHED 1000ms 时,P0 的 m=2,而 M2 的 p=0。

  • runqsize:LRQ 的 G 数量。

  • gfreecnt:状态为 Gdead 的数量,即 status = 6。

  • timerslen:timer 的数量。

M
  • p:绑定的 P 编号。

  • curg:当前正在 M 上执行代码的 G 编号。

  • mallocing:是否正存在分配内存操作。

  • throwing:是否有抛出异常。

  • preemptoff:如果 preemptoff != "",则保持 curg 在这个 M 上运行。

  • locks:M 的 locks 数量。

  • dying:M 的 dying 值,其存在 0、1、2 和其他值四种处理情况。

  • spinning:是否处于自选状态。

  • blocked:是否处于阻塞状态。

  • lockedg:与 G 的 lockedm 相对应,它们的类型是 uintptr,记录不被垃圾收集器跟踪的 M 与绕过写屏障的 G。

G
  • status: 同 P 的状态类似,其详细分类与描述同样可查看源码 runtime/runtime2.go 的代码;if status==Gwaiting ,即 status 的值为 4 时,其括号内还会输出具体的等待原因。

  • m:绑定的 M 编号,如果其值为 -1,代表无绑定。

  • lockedm:与 M 中的 lockedg 对应。

可视化调度快照

明白了上述各项指标的含义之后。为了绘图简单,我们将 GOMAXPROCS 设定为2,并选取第 1 秒的输出内容进行可视化分析。

$ GOMAXPROCS=2 GODEBUG=schedtrace=1000,scheddetail=1 ./demo
...
SCHED 1004ms: gomaxprocs=2 idleprocs=0 threads=4 spinningthreads=0 idlethreads=1 runqueue=10 gcwaiting=0 nmidlelocked=0 stopwait=0 sysmonwait=0P0: status=1 schedtick=45 syscalltick=0 m=3 runqsize=4 gfreecnt=0 timerslen=0P1: status=1 schedtick=48 syscalltick=0 m=0 runqsize=4 gfreecnt=0 timerslen=0M3: p=0 curg=24 mallocing=0 throwing=0 preemptoff= locks=0 dying=0 spinning=false blocked=false lockedg=-1M2: p=-1 curg=-1 mallocing=0 throwing=0 preemptoff= locks=0 dying=0 spinning=false blocked=true lockedg=-1M1: p=-1 curg=-1 mallocing=0 throwing=0 preemptoff= locks=2 dying=0 spinning=false blocked=false lockedg=-1M0: p=1 curg=34 mallocing=0 throwing=0 preemptoff= locks=0 dying=0 spinning=false blocked=false lockedg=-1G1: status=4(semacquire) m=-1 lockedm=-1G2: status=4(force gc (idle)) m=-1 lockedm=-1G3: status=4(GC sweep wait) m=-1 lockedm=-1G4: status=4(GC scavenge wait) m=-1 lockedm=-1G17: status=1() m=-1 lockedm=-1G18: status=1() m=-1 lockedm=-1G19: status=1() m=-1 lockedm=-1G20: status=1() m=-1 lockedm=-1G21: status=1() m=-1 lockedm=-1G22: status=1() m=-1 lockedm=-1G23: status=1() m=-1 lockedm=-1G24: status=2() m=3 lockedm=-1G25: status=1() m=-1 lockedm=-1G26: status=1() m=-1 lockedm=-1G27: status=1() m=-1 lockedm=-1G28: status=1() m=-1 lockedm=-1G29: status=1() m=-1 lockedm=-1G30: status=1() m=-1 lockedm=-1G31: status=1() m=-1 lockedm=-1G32: status=1() m=-1 lockedm=-1G33: status=1() m=-1 lockedm=-1G34: status=2() m=0 lockedm=-1G35: status=1() m=-1 lockedm=-1G36: status=1() m=-1 lockedm=-1
...

该时刻的调度情况快照图示如下

我们可以根据详细信息获取到 P、M、G 的具体运行情况。但需要注意的是,有一点我们不能确定,就是各个 P 的 LRQ 与 GRQ 是哪些具体的 G 在队列中等待,但这并不妨碍大局(因此,上图中的 LRQ 和 GRQ 可能并不是实际的 G 编号)。

总结

本文介绍了通过增加环境变量 GODEBUG ,我们可以在不做任何代码改变或增加额外的插件情况下,方便地查看 Go 程序的调度情况。

读者若想更直观地理解 Go 语言的 GMP 和调度系统,不妨一试 。

机器铃砍菜刀

欢迎添加小菜刀微信

加入Golang分享群学习交流!

感谢你的点赞在看哦~

如何更直观地理解 Go 调度过程相关推荐

  1. 开启 GODEBUG 更直观地理解 Go 程序的调度过程

    得益于 Go 语言优秀的运行时调度系统,即使开发人员没有多线程编程经验,也能很容易地开发并发程序. 调度系统,其中最核心的就是 GMP 的设计,欲深入理解 Go 语言设计的读者都应该看过这些知识.但是 ...

  2. 如何更好地理解中间件和洋葱模型

    相信用过 Koa.Redux 或 Express 的小伙伴对中间件都不会陌生,特别是在学习 Koa 的过程中,还会接触到 "洋葱模型". 本文阿宝哥将跟大家一起来学习 Koa 的中 ...

  3. 入理解分布式调度框架TBSchedule及源码分析

    简介 由于最近工作比较忙,前前后后花了两个月的时间把TBSchedule的源码翻了个底朝天.关于TBSchedule的使用,网上也有很多参考资料,这里不做过多的阐述.本文着重介绍TBSchedule的 ...

  4. 透过Tracepoint理解内核 - 调度器框架和性能

    静态tracepoint预埋在内核的关键位置, 通过这些预埋的tracepoint, 可以比较容易梳理出相关模块的框架及主要流程. 相比于直接钻到scheduler的实现细节中去, 我们先通过trac ...

  5. 【论文翻译】统一知识图谱学习和建议:更好地理解用户偏好

    一.摘要 将知识图谱(KG)纳入推荐系统有望提高推荐的准确性和可解释性.然而,现有方法主要假设KG是完整的并且简单地在实体原始数据或嵌入的浅层中转移KG中的"知识".这可能导致性能 ...

  6. ​如何让技术想法更容易被理解?

    简介: 沟通说起来简单,要做好却很难.如何把复杂的技术问题通俗易懂地表达出来,让别人听懂,是每个技术人都会面临的难题.本文作者以自身经历为背景,总结技术人员在日常技术交流过程中,遇到的一些低效的技术沟 ...

  7. k8s调度过程中的资源分配问题

    想要明白调度过程中的资源分配问题,首先要明白一件事,k8s中的资源分配,是以Pod为单位的.而Pod本质上而言,其实就是一个进程.就像操作系统一样,进程是资源分配的最小单位. k8s解决的一个比较大的 ...

  8. 比较两组数据的差异用什么图更直观_用8分钟给你讲讲line graph的写法

    我是雅思写作老师宋京航,这是我的第一篇教学文章/视频.按照常规操作,我可能需要给你讲一下考试介绍和考情分析,但是那些百度能搜到的废话我确实不想写.那么, 我们直接进入正题.以上有吹拉弹唱视频版,以下润 ...

  9. 比较两组数据的差异用什么图更直观_扩增子图表解读7三元图:三组差异数量和关系...

    点击上方蓝色「宏基因组」关注我们!专业干货每日推送! 背景介绍(Introduction) 宏基因组学 宏基因组学目前的主要研究方法包括:16S/ITS/18S扩增子.宏基因组.宏转录组和代谢组,其中 ...

最新文章

  1. 选择PMP培训学校需要注意哪些
  2. java中setid(),Java Process.setId方法代碼示例
  3. mysql预编译语句拼接查询_SQL语句预编译(查询)
  4. 如何理解程序保存数据就是输出,读取数据就是输入的含义
  5. 交叉编译和交叉调试环境搭建及使用
  6. vrp 节约算法 c++_滴滴技术:浅谈滴滴派单算法
  7. 更新wordpress遇到prepare警告问题的解决
  8. 百度地图JS API GPS坐标转换成百度地图坐标(修改版)
  9. WPE教程 传奇神秘商店外挂制作
  10. 计算机房安全防范措施,机房安全防护方案
  11. 适合matlab的编程字体“YAHEI CONSOLAS HYBRID”-下载+安装
  12. Format函数详解
  13. 批处理版MPlayer播放器
  14. 特征分析 | MATLAB实现NCA(近邻成分分析)自定义损失函数
  15. 一体广告机实现思路,非常实用(一)
  16. jq onclick 定义_jquery onclick函数未定义(jquery onclick function not defined)
  17. iconfont阿里巴巴矢量图标库本地下载的使用
  18. 电脑桌面只有计算机回收站显示,电脑桌面上只有回收站怎么办 电脑只显示回收站的两种解决方法...
  19. 跟zzt学长学习姿势——集合(set)的运用
  20. PHP书籍推荐TOP10排行榜

热门文章

  1. 获取焦点(onFocus)和失去焦点(onBlur) (js)
  2. C++实现银行贷款等额本息和等额本金还款
  3. pyqt5 图片随窗口变化等比例缩放
  4. 数学建模----LaTex排版使用速成
  5. proxmox VE开NAT小鸡 无法联网,怎么开NAT模式
  6. 递归实现输出一个整数的逆序
  7. 【火炉炼AI】机器学习053-数据降维绝招-PCA和核PCA
  8. 如来分形 大圣败北 ——如来会分形的取证调查
  9. 服务器固态硬盘raid0,SSD固态硬盘,撸一把RAID0模式大提速
  10. 基于VC面部识别软件(识别出人脸特征)