Go 工程师必学:Go 大杀器之跟踪剖析 trace
大家好,我是煎鱼。
前段时间分享了《Go 程序崩了?煎鱼教你用 PProf 工具来救火!》,但有时候单单使用 pprof 还不一定足够完整观查并解决问题,因为在真实的程序中还包含许多的隐藏动作,例如:
Goroutine 在执行时会做哪些操作?
Goroutine 执行/阻塞了多长时间?
Syscall 在什么时候被阻止?在哪里被阻止的?
谁又锁/解锁了 Goroutine ?
GC 是怎么影响到 Goroutine 的执行的?
这些东西用 pprof 是很难分析出来的,但如果你又想知道上述的答案的话,你可以用本章节的主角 go tool trace
来打开新世界的大门。
一起愉快地开始吸鱼之路。
初步了解
import ("os""runtime/trace"
)func main() {trace.Start(os.Stderr)defer trace.Stop()ch := make(chan string)go func() {ch <- "Go语言编程之旅"}()<-ch
}
生成跟踪文件:
$ go run main.go 2> trace.out
启动可视化界面:
$ go tool trace trace.out
2019/06/22 16:14:52 Parsing trace...
2019/06/22 16:14:52 Splitting trace...
2019/06/22 16:14:52 Opening browser. Trace viewer is listening on http://127.0.0.1:57321
查看可视化界面:
View trace:查看跟踪
Goroutine analysis:Goroutine 分析
Network blocking profile:网络阻塞概况
Synchronization blocking profile:同步阻塞概况
Syscall blocking profile:系统调用阻塞概况
Scheduler latency profile:调度延迟概况
User defined tasks:用户自定义任务
User defined regions:用户自定义区域
Minimum mutator utilization:最低 Mutator 利用率
调度延迟概况
在刚开始查看问题时,除非是很明显的现象,否则不应该一开始就陷入细节。
因此我们一般先查看 “Scheduler latency profile”,我们能通过 Graph 看到整体的调用开销情况,如下:
演示程序比较简单,因此这里就两块,一个是 trace
本身,另外一个是 channel
的收发。
Goroutine 分析
第二步看 “Goroutine analysis”,我们能通过这个功能看到整个运行过程中,每个函数块有多少个有 Goroutine 在跑。
观察每个的 Goroutine 的运行开销都花费在哪个阶段。如下:
通过上图我们可以看到共有 3 个 goroutine,分别是:
runtime.main
。runtime/trace.Start.func1
。main.main.func1
。
它们都做了些什么事呢,我们可以通过点击具体细项去观察。如下:
同时也可以看到当前 Goroutine 在整个调用耗时中的占比,以及 GC 清扫和 GC 暂停等待的一些开销。
如果你觉得还不够,可以把图表下载下来分析,相当于把整个 Goroutine 运行时掰开来看了,这块能够很好的帮助我们对 Goroutine 运行阶段做一个的剖析,可以得知到底慢哪,然后再决定下一步的排查方向。
如下:
名称 | 含义 | 耗时 |
---|---|---|
Execution Time | 执行时间 | 3140ns |
Network Wait Time | 网络等待时间 | 0ns |
Sync Block Time | 同步阻塞时间 | 0ns |
Blocking Syscall Time | 调用阻塞时间 | 0ns |
Scheduler Wait Time | 调度等待时间 | 14ns |
GC Sweeping | GC 清扫 | 0ns |
GC Pause | GC 暂停 | 0ns |
查看跟踪
在对当前程序的 Goroutine 运行分布有了初步了解后,我们再通过 “查看跟踪” 看看之间的关联性,如下:
这个跟踪图粗略一看,相信有的小伙伴会比较懵逼,我们可以依据注解一块块查看,如下:
时间线:显示执行的时间单元,根据时间维度的不同可以调整区间,具体可执行
shift
+?
查看帮助手册。堆:显示执行期间的内存分配和释放情况。
协程:显示在执行期间的每个 Goroutine 运行阶段有多少个协程在运行,其包含 GC 等待(GCWaiting)、可运行(Runnable)、运行中(Running)这三种状态。
OS 线程:显示在执行期间有多少个线程在运行,其包含正在调用 Syscall(InSyscall)、运行中(Running)这两种状态。
虚拟处理器:每个虚拟处理器显示一行,虚拟处理器的数量一般默认为系统内核数。
协程和事件:显示在每个虚拟处理器上有什么 Goroutine 正在运行,而连线行为代表事件关联。
点击具体的 Goroutine 行为后可以看到其相关联的详细信息,这块很简单,大家实际操作一下就懂了。文字解释如下:
Start:开始时间
Wall Duration:持续时间
Self Time:执行时间
Start Stack Trace:开始时的堆栈信息
End Stack Trace:结束时的堆栈信息
Incoming flow:输入流
Outgoing flow:输出流
Preceding events:之前的事件
Following events:之后的事件
All connected:所有连接的事件
查看事件
我们可以通过点击 View Options-Flow events、Following events 等方式,查看我们应用运行中的事件流情况。如下:
通过分析图上的事件流,我们可得知:
这程序从
G1 runtime.main
开始运行。在运行时创建了 2 个 Goroutine:
先是创建
G18 runtime/trace.Start.func1
。再是创建
G19 main.main.func1
。
同时我们可以通过其 Goroutine Name 去了解它的调用类型。如下:
runtime/trace.Start.func1
就是程序中在main.main
调用了runtime/trace.Start
方法。紧接着该方法又利用协程创建了一个闭包
func1
去进行调用。
在这里我们结合开头的代码去看的话,很明显就是 ch
的输入输出的过程了。
实战演练
凌晨三点,突然生产环境突然出现了问题,机智的你早已埋好 _ "net/http/pprof"
这个神奇的工具。
被告警电话叫醒的你,迷迷糊糊地通过特定的方式执行了如下命令:
$ curl http://127.0.0.1:6060/debug/pprof/trace\?seconds\=20 > trace.out
$ go tool trace trace.out
查看跟踪
你很快的看到了熟悉的 List 界面,然后不信邪点开了 View trace 界面,如下:
完全看懵的你,稳住,对着合适的区域执行快捷键 W
不断地放大时间线,如下:
经过初步排查,你发现上述绝大部分的 G 竟然都和 google.golang.org/grpc.(*Server).Serve.func
有关,关联的一大串也是 Serve
所触发的相关动作。
这时候有经验的你心里已经有了初步结论,你可以继续追踪 View trace 深入进去。
不过建议先鸟瞰全貌,因此我们再往下看 “Network blocking profile” 和 “Syscall blocking profile” 所提供的信息。
网络阻塞概况
系统调用阻塞概况
通过对以上三项的跟踪分析,加上这个泄露,这个阻塞的耗时,这个涉及的内部方法名,很明显就是哪位又忘记关闭客户端连接了。
这时候我们就可以接下进行下一步的排查和修改了。
总结
通过本文我们习得了 go tool trace
的武林秘籍,它能够跟踪捕获各种执行中的事件,例如:
Goroutine 的创建/阻塞/解除阻塞。
Syscall 的进入/退出/阻止,GC 事件。
Heap 的大小改变。
Processor 启动/停止等等。
希望你能够用好 Go 的两大杀器 pprof + trace 组合,此乃排查好搭档,谁用谁清楚,即使他并不是绝对的万能。
关注煎鱼,吸取他的知识 ????
你好,我是煎鱼。高一折腾过前端,参加过国赛拿了奖,大学搞过 PHP。现在整 Go,在公司负责微服务架构等相关工作推进和研发。
从大学开始靠自己赚生活费和学费,到出版 Go 畅销书《Go 语言编程之旅》,再到获得 GOP(Go 领域最有观点专家)荣誉,点击蓝字查看我的出书之路。
日常分享高质量文章,输出 Go 面试、工作经验、架构设计,加微信拉读者交流群,记得点赞!
Go 工程师必学:Go 大杀器之跟踪剖析 trace相关推荐
- golang 关闭gc 并手动gc_Golang 大杀器之跟踪剖析 trace
Go语言中文网,致力于每日分享编码.开源等知识,欢迎关注我,会有意想不到的收获! 在 Go 中有许许多多的分析工具,在之前我有写过一篇 Golang 大杀器之性能剖析 PProf 来介绍 PProf, ...
- Golang 大杀器之跟踪剖析 trace(转载)
转载地址:https://mp.weixin.qq.com/s/iXkbF018fxgTWtMqxZfo6g 以下文章来源于不会写Go的煎鱼 ,作者陈煎鱼 不会写Go的煎鱼 知其然,知其所以然. 在 ...
- Go 大杀器之跟踪剖析 trace
大家好,我是煎鱼. 前段时间分享了<Go 程序崩了?煎鱼教你用 PProf 工具来救火!>,但有时候单单使用 pprof 还不一定足够完整观查并解决问题,因为在真实的程序 ...
- 视频教程-Java工程师必学系列课程之4--《Java Swing》视频课程-Java
Java工程师必学系列课程之4--<Java Swing>视频课程 某知名科技公司技术总监,10年以上大型J2EE项目的实战研发经验,参与并主持开发"内蒙古电力集团考试系统&qu ...
- python自动化运维与开发岗位_新课 | 运维开发工程师必学的Python自动化运维课程,学完后悔没早点学!...
原标题:新课 | 运维开发工程师必学的Python自动化运维课程,学完后悔没早点学! 马哥教育2017年Python自动化开发实战班,根据目前企业需求的Python开发人才进行了深度定制,加入了大量一 ...
- Python开发工程师必知十大机器学习库
Python是一种面向对象的解释型计算机程序设计语言,具有丰富和强大的库,再加上其简单.易学.速度快.开源免费.可移植性.可扩展性以及面向对象的特点,Python成为2017年最受欢迎的最受欢迎的编程 ...
- python爬取app播放的视频,Python爬虫工程师必学——App数据抓取实战视频教程
爬虫分为几大方向,WEB网页数据抓取.APP数据抓取.软件系统数据抓取.本课程主要为同学讲解如何用python实现App数据抓取,课程从开发环境搭建,App爬虫必备利器详解,项目实战,到最后的多App ...
- 深度学习网络大杀器之Dropout(II)——将丢弃学习视为集成学习之我见
原帖:阿里云云栖社区: https://yq.aliyun.com/articles/110002 关于dropout的分析,可以见博主的另外一篇文章: <深度学习网络大杀器之Dropout-- ...
- JAVA工程师必学技能,进阶涨薪的推进器!这份实战教程请收下
Netty 作为互联网中间件的基石,是 JAVA 工程师进阶为高级程序员必备的能力之一.也是目前是互联网中间件领域使用最广泛最核心的网络通信框架. Netty是一个高性能.异步事件驱动的NIO框架,它 ...
最新文章
- 快慢法判断单链表中是否有循环链表
- SQL Server 语句查询手册
- 软件开发工具(第1章:绪论)
- java考前复习之String 类
- InfoQ就Spring Boot 2.0 GA版发布采访了项目牵头人Phil Webb
- Java 多线程 通信 通道 (猫狗赛跑)
- 开课吧Java课堂之如何使用FilenameFilter
- sql语句修改mysql数据库密码_修改mysql数据库密码的3中方法
- 指纹识别算法的matlab实现
- 经典语音降噪方法-谱减法
- 读《大秦帝国》第二部
- H5/C3基础(1)
- 数据结构课程设计[2023-01-19]
- 幂级数求和函数总结全在这里啦
- GO+ 教程总览(二)
- 基于51单片机的超声波测距仪
- 利用python批量合并手机哔哩哔哩下载的视频各分段
- 用Python自动化操作Excel制作报表,真的是太方便啦!!!
- 目标检测: Camvid 语义标签转化为bbox标签
- 2017年大数据 云计算 物联网发展趋势
热门文章
- iOS集成极验行为验证
- 人均月薪83887元?腾讯第三季财报来了!我酸了...
- 导入大量数据,比如300G数据,导出500G数据需要考虑的问题
- 3.python 发送邮件之smtplib模块
- 二叉树遍历(Binary Tree Traversal)
- 完整电商项目--项目介绍(1)
- java计算机毕业设计社区老人健康服务跟踪系统源码+系统+数据库+lw文档+mybatis+运行部署
- 记2020年7月5日深圳福田凤凰楼嵌入式/物联网博客-公众号大佬面基聚会
- 哪种公司能干 哪种不能
- 浅谈SKU和SPU的区别与联系