程序员如何读懂火焰图

1、白话火焰图

让我们回想一下我们一般是如何调试程序的，通常是在没有数据的情况下依靠主观臆断来瞎蒙，而不是考虑问题到底是什么引起的！毫无疑问，调优程序性能问题的时候，同样需要对症下药。好消息是 Linux 内核调优大师发明了火焰图，可以一针见血的指出程序的性能瓶颈，可以快速、准确地识别出最频繁的代码路径，但是很少人在使用火焰图。常见的火焰图类型有 On-CPU，Off-CPU，还有 Memory，Hot/Cold，Differential 等等。
关于火焰图整个图形看起来就像一团跳动的火焰，这也正是其名字的由来。燃烧在火苗尖部的就是 CPU 正在执行的操作，不过需要说明的是颜色是随机的，本身并没有特殊的含义，纵向表示调用栈的深度，横向表示采样的次数。因为调用栈在横向会按照字母排序，并且同样的调用栈会做合并，所以一个格子的宽度越大越说明其可能是瓶颈。综上所述，主要就是看那些比较宽大的火苗，特别留意那些类似平顶山的火苗。

2、火焰图的含义

以下是基于 perf （perf是一款Linux性能分析工具）结果产生的 SVG 图片，用来展示 CPU 的调用栈。

火焰图的地址： https://queue.acm.org/downloads/2016/Gregg4.svg
y 轴表示调用栈，每一层都是一个函数。调用栈越深，火焰就越高，顶部就是正在执行的函数，下方都是它的父函数。
x 轴表示抽样数，如果一个函数在 x 轴占据的宽度越宽，就表示它被抽到的次数多，即执行的时间长。注意，x 轴不代表时间，而是所有的调用栈合并后，按字母顺序排列的。
火焰图就是看顶层的哪个函数占据的宽度最大。只要有"平顶山"，就表示该函数可能存在性能问题。
颜色没有特殊含义，因为火焰图表示的是 CPU 的繁忙程度，所以一般选择暖色调。
火焰图是 SVG 图片，可以与用户互动,火焰的每一层都会标注函数名，鼠标悬浮时会显示完整的函数名、抽样抽中的次数、占据总抽样次数的百分比
在某一层点击，火焰图会水平放大，该层会占据所有宽度，显示详细信息。

3、生成火焰图

要生成火焰图，必须要有一个顺手的 Tracer 工具，如果操作系统是 Linux 的话，那么选择通常是 perf，systemtap 中的一种。其中 perf 相对更常用而 systemtap 相对更强大，不过缺点是你需要先学会它本身的编程语言，如果你和我一样觉得麻烦，那么我强烈推荐你使用春哥的 nginx-systemtap-toolkit，乍一看名字你可能会误以为这个工具包是 nginx 专用的，实际上这里面很多工具适用于任何 C/CPP 语言编写的程序
sample-bt：用来生成 On-CPU 火焰图的采样数据实例：http://openresty.org/download/user-flamegraph.svg
sample-bt-off-cpu：用来生成 Off-CPU 火焰图的采样数据实例：http://agentzh.org/misc/flamegraph/off-cpu-lua-resty-mysql.svg
那么什么时候使用 On-CPU 火焰图？什么时候使用 Off-CPU 火焰图呢？取决于当前的瓶颈到底是什么，如果是 CPU 则使用 On-CPU 火焰图，如果是 IO 或锁则使用 Off-CPU 火焰图。如果无法确定，那么可以通过压测工具来确认：通过压测工具看看能否让 CPU 使用率趋于饱和，如果能那么使用 On-CPU 火焰图，如果不管怎么压，CPU 使用率始终上不来，那么多半说明程序被 IO 或锁卡住了，此时适合使用 Off-CPU 火焰图。如果还是确认不了，那么不妨 On-CPU 火焰图和 Off-CPU 火焰图都搞搞，正常情况下它们的差异会比较大，如果两张火焰图长得差不多，那么通常认为 CPU 被其它进程抢占了，在采样数据的时候，最好通过压测工具对程序持续施压，以便采集到足够的样本。

例子1
通过 Off-CPU 火焰图可以发现有一个使用互斥锁的 HTTP Cache 检查代码让绝大部分的 Off-CPU 时间都花在了等待进程锁上
https://blog.huoding.com/upload/off-cpu-flame-graph-nginx-cache-1.svg
例子2
在移除了那个引发互斥锁瓶颈的历史代码之后，从图上我们可以清楚地看到 open() 系统调用是下一个最明显的性能瓶颈
https://blog.huoding.com/upload/off-cpu-flame-graph-nginx-cache-2.svg
例子3
启用 nginx 的 open_file_cache 指令可以对打开的文件句柄进行缓存，从而节约昂贵的 open() 系统调用。但是缓存容量并不是越大越好，比如当达到 20000 个元素的容量时，共享内存的锁就成了瓶颈
https://blog.huoding.com/upload/off-cpu-flame-graph-nginx-cache-3.svg

实际使用火焰图的时候，因为 perf / systemtap 本身对系统性能影响较小，所以我们可以在线上随时采样数据来分析性能，我们甚至可以写一个脚本，自动化定期绘制系统运行状况的火焰图，如此一来，即便发生性能故障时我们没有第一时间在现场，也可以随时根据火焰图历史快照来确诊问题的根源。

4、Perf 命令

Perf 命令(performance的简写)是 Linux 系统原生提供的性能分析工具，返回 CPU 正在执行的函数名以及调用栈(stack)。
通常，它的执行频率是 99Hz（每秒99次），如果99次都返回同一个函数名，那就说明 CPU 这一秒钟都在执行同一个函数，可能存在性能问题。

5、Java 性能分析工具 async-profiler