标签:需要 highlight follow mod 现在 输出 准备 eth art
Go调度器系列(2)宏观看调度器
上一篇文章《Go语言高阶:调度器系列(1)起源》,学goroutine调度器之前的一些背景知识,这篇文章则是为了对调度器有个宏观的认识,从宏观的3个角度,去看待和理解调度器是什么样子的,但仍然不涉及具体的调度原理。
三个角度分别是:
在开始前,先回忆下调度器相关的3个缩写:
3者的简要关系是P拥有G,M必须和一个P关联才能运行P拥有的G。
《Go语言高阶:调度器系列(1)起源》中介绍了协程和线程的关系,协程需要运行在线程之上,线程由CPU进行调度。
在Go中,线程是运行goroutine的实体,调度器的功能是把可运行的goroutine分配到工作线程上。
Go的调度器也是经过了多个版本的开发才是现在这个样子的,
在
$GOROOT/src/runtime/proc.go
的开头注释中包含了对Scheduler的重要注释,介绍Scheduler的设计曾拒绝过3种方案以及原因,本文不再介绍了,希望你不要忽略为数不多的官方介绍。
Tony Bai在《也谈goroutine调度器》中的这幅图,展示了goroutine调度器和系统调度器的关系,而不是把二者割裂开来,并且从宏观的角度展示了调度器的重要组成。
自顶向下是调度器的4个部分:
Goroutine调度器和OS调度器是通过M结合起来的,每个M都代表了1个内核线程,OS调度器负责把内核线程分配到CPU的核上执行。
接下来我们从另外一个宏观角度——生命周期,认识调度器。
所有的Go程序运行都会经过一个完整的调度器生命周期:从创建到结束。
即使下面这段简单的代码:
package main
import "fmt"
// main.main
func main() {
fmt.Println("Hello scheduler")
}
也会经历如上图所示的过程:
main.main
,runtime
中也有1个main函数——runtime.main
,代码经过编译后,runtime.main
会调用main.main
,程序启动时会为runtime.main
创建goroutine,称它为main goroutine吧,然后把main goroutine加入到P的本地队列。main.main
退出,runtime.main
执行Defer和Panic处理,或调用runtime.exit
退出程序。调度器的生命周期几乎占满了一个Go程序的一生,runtime.main
的goroutine执行之前都是为调度器做准备工作,runtime.main
的goroutine运行,才是调度器的真正开始,直到runtime.main
结束而结束。
上面的两个宏观角度,都是根据文档、代码整理出来,最后我们从可视化角度感受下调度器,有2种方式。
方式1:go tool trace
trace记录了运行时的信息,能提供可视化的Web页面。
简单测试代码:main函数创建trace,trace会运行在单独的goroutine中,然后main打印"Hello trace"退出。
func main() {
// 创建trace文件
f, err := os.Create("trace.out")
if err != nil {
panic(err)
}
defer f.Close()
// 启动trace goroutine
err = trace.Start(f)
if err != nil {
panic(err)
}
defer trace.Stop()
// main
fmt.Println("Hello trace")
}
运行程序和运行trace:
? trace git:(master) ? go run trace1.go
Hello trace
? trace git:(master) ? ls
trace.out trace1.go
? trace git:(master) ?
? trace git:(master) ? go tool trace trace.out
2019/03/24 20:48:22 Parsing trace...
2019/03/24 20:48:22 Splitting trace...
2019/03/24 20:48:22 Opening browser. Trace viewer is listening on http://127.0.0.1:55984
效果:
从上至下分别是goroutine(G)、堆、线程(M)、Proc(P)的信息,从左到右是时间线。用鼠标点击颜色块,最下面会列出详细的信息。
我们可以发现:
runtime.main
的goroutine是g1
,这个编号应该永远都不变的,runtime.main
是在g0
之后创建的第一个goroutine。main.main
,创建了trace goroutine g18
。g1运行在P2上,g18运行在P0上。go tool trace的资料并不多,如果感兴趣可阅读:https://making.pusher.com/go-tool-trace/ ,中文翻译是:https://mp.weixin.qq.com/s/nf_-AH_LeBN3913Pt6CzQQ 。
方式2:Debug trace
示例代码:
// main.main
func main() {
for i := 0; i < 5; i++ {
time.Sleep(time.Second)
fmt.Println("Hello scheduler")
}
}
编译和运行,运行过程会打印trace:
? one_routine2 git:(master) ? go build .
? one_routine2 git:(master) ? GODEBUG=schedtrace=1000 ./one_routine2
结果:
SCHED 0ms: gomaxprocs=8 idleprocs=5 threads=5 spinningthreads=1 idlethreads=0 runqueue=0 [0 0 0 0 0 0 0 0]
SCHED 1001ms: gomaxprocs=8 idleprocs=8 threads=5 spinningthreads=0 idlethreads=3 runqueue=0 [0 0 0 0 0 0 0 0]
Hello scheduler
SCHED 2002ms: gomaxprocs=8 idleprocs=8 threads=5 spinningthreads=0 idlethreads=3 runqueue=0 [0 0 0 0 0 0 0 0]
Hello scheduler
SCHED 3004ms: gomaxprocs=8 idleprocs=8 threads=5 spinningthreads=0 idlethreads=3 runqueue=0 [0 0 0 0 0 0 0 0]
Hello scheduler
SCHED 4005ms: gomaxprocs=8 idleprocs=8 threads=5 spinningthreads=0 idlethreads=3 runqueue=0 [0 0 0 0 0 0 0 0]
Hello scheduler
SCHED 5013ms: gomaxprocs=8 idleprocs=8 threads=5 spinningthreads=0 idlethreads=3 runqueue=0 [0 0 0 0 0 0 0 0]
Hello scheduler
看到这密密麻麻的文字就有点担心,不要愁!因为每行字段都是一样的,各字段含义如下:
[0 0 0 0 0 0 0 0]
: 分别为8个P的local queue中的G的数量。看第一行,含义是:刚启动时创建了8个P,其中5个空闲的P,共创建5个M,其中1个M处于自旋,没有M处于空闲,8个P的本地队列都没有G。
再看个复杂版本的,加上scheddetail=1
可以打印更详细的trace信息。
命令:
? one_routine2 git:(master) ? GODEBUG=schedtrace=1000,scheddetail=1 ./one_routine2
结果:
截图可能更代码匹配不起来,最初代码是for死循环,后面为了减少打印加了限制循环5次
每次分别打印了每个P、M、G的信息,P的数量等于gomaxprocs
,M的数量等于threads
,主要看圈黄的地方:
这篇文章,从3个宏观的角度介绍了调度器,也许你依然不知道调度器的原理,心里感觉模模糊糊,没关系,一步一步走,通过这篇文章希望你了解了:
本文所有示例代码都在Github,可通过阅读原文访问:golang_step_by_step/tree/master/scheduler
最近的感受是:自己懂是一个层次,能写出来需要抬升一个层次,给他人讲懂又需要抬升一个层次。希望朋友们有所收获。
标签:需要 highlight follow mod 现在 输出 准备 eth art
原文地址:https://www.cnblogs.com/Mikusa/p/13065200.html