perf 性能分析实例——使用perf优化cache利用率

摘要：本文主要讲解如何使用perf观察程序在缓存利用方面的瓶颈，进而优化程序，提高cache命中率。主要讲解提高缓存利用的几种常用方法。

1.程序局部性

一个编写良好的计算机程序通常具有程序的局部性，它更倾向于引用最近引用过的数据项，或者这个数据周围的数据——前者是时间局部性，后者是空间局部性。现代操作系统的设计，从硬件到操作系统再到应用程序都利用了程序的局部性原理：硬件层，通过cache来缓存刚刚使用过的指令或者数据，来提交对内存的访问效率。在操作系统级别，操作系统利用主存来缓存刚刚访问过的磁盘块；在应用层，web浏览器将最近引用过的文档放在磁盘上，大量的web服务器将最近访问的文档放在前端磁盘上，这些缓存能够满足很多请求而不需要服务器的干预。本文主要将的是硬件层次的程序局部性。

2.处理器存储体系

计算机体系的储存层次从内到外依次是寄存器、cache（从一级、二级到三级）、主存、磁盘、远程文件系统；从内到外，访问速度依次降低，存储容量依次增大。这个层次关系，可以用下面这张图来表示：

程序在执行过程中，数据最先在磁盘上，然后被取到内存之中，最后如果经过cache（也可以不经过cache）被CPU使用。如果数据不再cache之中，需要CPU到主存中存取数据，那么这就是cache miss，这将带来相当大的时间开销。

3.perf原理与使用简介

Perf是Linux kernel自带的系统性能优化工具。Perf的优势在于与Linux Kernel的紧密结合，它可以最先应用到加入Kernel的new feature。perf可以用于查看热点函数，查看cashe miss的比率，从而帮助开发者来优化程序性能。

性能调优工具如 perf，Oprofile 等的基本原理都是对被监测对象进行采样，最简单的情形是根据 tick 中断进行采样，即在 tick 中断内触发采样点，在采样点里判断程序当时的上下文。假如一个程序 90% 的时间都花费在函数 foo() 上，那么 90% 的采样点都应该落在函数 foo() 的上下文中。运气不可捉摸，但我想只要采样频率足够高，采样时间足够长，那么以上推论就比较可靠。因此，通过 tick 触发采样，我们便可以了解程序中哪些地方最耗时间，从而重点分析。

本文，我们主要关心的是cache miss事件，那么我们只需要统计程序cache miss的次数即可。使用perf 来检测程序执行期间由此造成的cache miss的命令是perf stat -e cache-misses ./exefilename，另外，检测cache miss事件需要取消内核指针的禁用（/proc/sys/kernel/kptr_restrict设置为0）。

4.cache 优化实例

4.1数据合并

有两个数据A和B，访问的时候经常是一起访问的，总是会先访问A再访问B。这样A[i]和B[i]就距离很远，如果A、B是两个长度很大的数组，那么可能A[i]和B[i]无法同时存在cache之中。为了增加程序访问的局部性，需要将A[i]和B[i]尽量存放在一起。为此，我们可以定义一个结构体，包含A和B的元素各一个。这样的两个程序对比如下：

test.c

#define NUM 393216  int main(){  float a[NUM],b[NUM];  int i;  for(i=0;i<1000;i++)  add(a,b,NUM);
}  int add(int *a,int *b,int num){  int i=0;  for(i=0;i<num;i++){  *a=*a+*b;  a++;  b++;  }
}

test2.c

#define NUM 39216
typedef struct{  float a;  float b;
}Array;  int main(){  Array myarray[NUM];  int j=0;  for(j=0;j<1000;j++)  add(myarray,NUM);
}  int add(Array *myarray,int num){  int i=0;  for(i=0;i<num;i++){  myarray->a=myarray->a+myarray->b;  myarray++;  }
}

注：我们设置数组大小NUM为39216，因为cache大小是3072KB，这样设定可以让A数组填满cache，方便对比。对比二者的cache miss数量：

test

[huangyk@huangyk test]$ perf stat -e cache-misses ./test  Performance counter stats for './test':   530,787 cache-misses                                                    2.372003220 seconds time elapsed

test2

[huangyk@huangyk test]$ perf stat -e cache-misses ./test2    Performance counter stats for './test2':  11,636 cache-misses                                               0.233570690 seconds time elapsed

可以看到，后者的cache miss数量相对前者有很大的下降，耗费的时间大概是前者的十分之一左右。

进一步，可以查看触发cach-miss的函数：

test程序的结果：

[huangyk@huangyk test]$ perf record -e cache-misses ./test
[huangyk@huangyk test]$ perf report
Samples: 7K of event 'cache-misses', Event count (approx.): 3393820  45.88%  test  test               [.] sub  44.74%  test  test               [.] add  0.71%  test  [kernel.kallsyms]  [k] clear_page_c  0.70%  test  [kernel.kallsyms]  [k] _spin_lock  0.43%  test  [kernel.kallsyms]  [k] run_timer_softirq  0.41%  test  [kernel.kallsyms]  [k] account_user_time  0.34%  test  [kernel.kallsyms]  [k] hrtimer_interrupt  0.30%  test  [kernel.kallsyms]  [k] run_posix_cpu_timers  0.29%  test  [kernel.kallsyms]  [k] _cond_resched  0.24%  test  [kernel.kallsyms]  [k] update_curr  0.23%  test  [kernel.kallsyms]  [k] x86_pmu_disable  0.22%  test  [kernel.kallsyms]  [k] __rcu_pending  0.20%  test  [kernel.kallsyms]  [k] task_tick_fair  0.19%  test  [kernel.kallsyms]  [k] account_process_tick  0.17%  test  [kernel.kallsyms]  [k] scheduler_tick  0.16%  test  [kernel.kallsyms]  [k] __perf_event_task_sched_out

从perf输出的结果可以看出，程序cache miss主要是由sub和add触发的。

test2程序的结果：

perf record -e cache-misses ./test2
perf report
Samples: 51  of event 'cache-misses', Event count (approx.): 17438  39.78%  test2  [kernel.kallsyms]  [k] clear_page_c  15.68%  test2  [kernel.kallsyms]  [k] mem_cgroup_uncharge_start  7.94%  test2  [kernel.kallsyms]  [k] __alloc_pages_nodemask  7.28%  test2  [kernel.kallsyms]  [k] init_fpu  6.50%  test2  test2              [.] add  3.19%  test2  [kernel.kallsyms]  [k] arp_process  2.76%  test2  [kernel.kallsyms]  [k] account_user_time  2.73%  test2  [kernel.kallsyms]  [k] perf_event_mmap  2.02%  test2  [kernel.kallsyms]  [k] filemap_fault  1.62%  test2  [kernel.kallsyms]  [k] kfree  1.50%  test2  [kernel.kallsyms]  [k] 0xffffffffa04334b8  1.06%  test2  [kernel.kallsyms]  [k] _spin_lock  1.06%  test2  [kernel.kallsyms]  [k] raise_softirq  1.00%  test2  [kernel.kallsyms]  [k] acct_update_integrals  0.96%  test2  [kernel.kallsyms]  [k] __do_softirq  0.67%  test2  [kernel.kallsyms]  [k] handle_edge_irq  0.56%  test2  [kernel.kallsyms]  [k] __rcu_pending  0.40%  test2  [kernel.kallsyms]  [k] enqueue_hrtimer  0.39%  test2  test2              [.] sub  0.38%  test2  [kernel.kallsyms]  [k] _spin_lock_irq  0.36%  test2  [kernel.kallsyms]  [k] tick_sched_timer

从perf输出的结果可以看出，add和sub触发的perf miss已经占了很小的一部分。

4.2循环交换

C语言中，对于二维数组，同一行的数据是相邻的，同一列的数据是不相邻的。如果在循环中，让依次访问的数据尽量处在内存中相邻的位置，那么程序的局部性将会得到很大的提高。观察下面矩阵相乘的几个函数：

test_ijk:

void Muti( double A[][NUM],double B[][NUM],double C[][NUM],int n){   int i,j,k;  double sum=0;  for (i=0;i<n;i++)  for(j=0;j<n;j++){  sum=0.0;  for(k=0;k<n;k++)  sum+=A[i][k]*B[k][j];  C[i][j]+=sum;  }

test_jki:

void Muti( double A[][NUM],double B[][NUM],double C[][NUM],int n){   int i,j,k;  double sum=0;  for (j=0;j<n;j++)  for(k=0;k<n;k++){  sum=B[k][j];  for(i=0;i<n;i++)  C[i][j]+=A[i][k]*sum;  }
}

test_kij:

void Muti( double A[][NUM],double B[][NUM],double C[][NUM],int n){   int i,j,k;  double sum=0;  for (k=0;k<n;k++)  for(i=0;i<n;i++){  sum=A[i][k];  for(j=0;j<n;j++)  C[i][j]+=B[k][j]*sum;  }
}

考察内层循环，可以发现，不同的循环模式，导致的cache失效比例依次是kij、ijk、jki递增。

4.3循环合并

在很多情况下，我们可能使用两个独立的循环来访问数组a和c。由于数组很大，在第二个循环访问数组中元素的时候，第一个循环取进cache中的数据已经被替换出去，从而导致cache失效。如此情况下，可以将两个循环合并在一起。合并以后，每个数组元组在同一个循环体中被访问了两次，从而提高了程序的局部性。

5.后记

实际情况下，一个程序的cache失效比例往往并不像我们从理论上预测的那么简单。影响cache失效比例的因素主要有：数组大小，cache映射策略，二级cache大小，Victim Cache等，同时由于cache的不同写回策略，我们也很难从理论上预估一个程序由于cache miss而导致的时间耗费。真正在进行程序设计的时候，我们在进行理论上的分析之后，只有使用perf等性能调优工具，才能更真实地观察到程序对cache的利用情况。

原文地址：https://www.ibm.com/developerworks/community/blogs/5144904d-5d75-45ed-9d2b-cf1754ee936a/entry/perf_introduction?lang=en