linux下c/c++程序调试拾遗

以下为整理c++程序调试过程中经常用到的工具链

1. 调试利器GDB

linux下c++程序的调试，绕不过去的第一个就是gdb无疑了；

1.1 启动gdb

gdb <pragram>
gdb <pragram> <core>
gdb <pragram> <pid>
gdb -pid/-p <pid>

注意：程序编译时添加-g选项（有时候gdb调试core文件，bt不出来函数调用堆栈时，百思不得其解之际，请检查-g选项）

1.2 常用gdb调试交互命令

流程控制

run：可简写为r 运行
next：可简写为n 单步下一步
continue：可简写为c 继续
step：可简写为s 单步下一步（若有函数调用进入函数内部）
until：循环体内部单步时，执行至退出循环，后也可跟行号（执行到指定行）
finish：执行直至函数返回
call：后接可见函数，进行函数调用
quit：退出
layout src: 显示源码窗口，可以边看代码边调试

断点控制

break 函数名 : 在指定函数处设置断点，若为成员函数，指定类名如 b user::add
break 行数：在指定文件代码行数设置断点如 b user.cpp:111
break * if cond: 条件断点如 b user.cpp:111 if enable = 1
delete n:删除断点n（断掉号）
disable n:暂停断点n
enable n:重新启用断点n
info breakpoints:查看所有断点设置情况（info b）
delete breakpoints 删除所有断点

查看运行信息

list:可简写为l 后接代码行数n或函数名，查看指定行数或函数处代码，若后不接参数，接前面的list显示
print:可简写为p，打印指定变量、表达式、函数调用返回值的值
display :后接表达式，一旦设置，将会在每一步单步后自动打印表达式的值，使用undisplay n(配合info display使用)去掉打印
watch：后接表达式，设置监察点，一旦表达式的值发生了改变，强行终止调试程序
where/bt：查看当前函数调用堆栈
frame:后接函数调用帧ID，切换函数调用堆栈（后使用info frame查看当前帧详细信息）
info locals: 查询当前函数堆栈帧所有变量
up/down:改变函数堆栈深度

多线程调试

info thread:用于显示所有线程信息
thread apply ID1 ID2 command: 让一个或者多个线程执行GDB命令command(如thread apply [ID] where 命令来查看每个线程到底运行到了什么地方)
thread apply all command 让所有被调试线程执行GDB命令command.(如 thread apply all bt查看所有线程堆栈)
thread [ID]:切换当前调试的线程
break file.cpp:111 thread all:在file.cpp文件111行设置断点，对所有线程有效
set scheduler off/on/step：off为默认值，所有线程均执行，on调试时只有当前线程执行，step为单步的时候，只有当前线程执行（除next:next经过一个函数，底层实现实际上是一个设置断点然后continue的过程）

其它

诸如gdb当中设置变量及commond使用，可参照下面的参考资料

2.strace 跟踪进程中的系统调用

strace常用来跟踪进程执行时的系统调用和所接收的信号。在Linux世界，进程不能直接访问硬件设备，当进程需要访问硬件设备(比如读取磁盘文件，接收网络数据等等)时，必须由用户态模式切换至内核态模式，通过系统调用访问硬件设备。strace可以跟踪到一个进程产生的系统调用,包括参数，返回值，执行消耗的时间。

2.1. 输出参数含义
每一行都是一条系统调用，等号左边是系统调用的函数名及其参数，右边是该调用的返回值。 strace 显示这些调用的参数并返回符号形式的值。strace 从内核接收信息，而且不需要以任何特殊的方式来构建内核。

$strace cat /dev/null
execve("/bin/cat", ["cat", "/dev/null"], [/* 22 vars */]) = 0
brk(0)                                  = 0xab1000
access("/etc/ld.so.nohwcap", F_OK)      = -1 ENOENT (No such file or directory)
mmap(NULL, 8192, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7f29379a7000
access("/etc/ld.so.preload", R_OK)      = -1 ENOENT (No such file or directory)

2.2. 参数
-c 统计每一系统调用的所执行的时间,次数和出错的次数等.
-d 输出strace关于标准错误的调试信息.
-f 跟踪由fork调用所产生的子进程.
-ff 如果提供-o filename,则所有进程的跟踪结果输出到相应的filename.pid中,pid是各进程的进程号.
-F 尝试跟踪vfork调用.在-f时,vfork不被跟踪.
-h 输出简要的帮助信息.
-i 输出系统调用的入口指针.
-q 禁止输出关于脱离的消息.
-r 打印出相对时间关于,,每一个系统调用.
-t 在输出中的每一行前加上时间信息.
-tt 在输出中的每一行前加上时间信息,微秒级.
-ttt 微秒级输出,以秒了表示时间.
-T 显示每一调用所耗的时间.
-v 输出所有的系统调用.一些调用关于环境变量,状态,输入输出等调用由于使用频繁,默认不输出.
-V 输出strace的版本信息.
-x 以十六进制形式输出非标准字符串
-xx 所有字符串以十六进制形式输出.
-a column
设置返回值的输出位置.默认为40.
-e expr
指定一个表达式,用来控制如何跟踪.格式如下:
[qualifier=][!]value1[,value2]…
qualifier只能是 trace,abbrev,verbose,raw,signal,read,write其中之一.value是用来限定的符号或数字.默认的 qualifier是 trace.感叹号是否定符号.例如:
-eopen等价于 -e trace=open,表示只跟踪open调用.而-etrace!=open表示跟踪除了open以外的其他调用.有两个特殊的符号 all 和 none.
注意有些shell使用!来执行历史记录里的命令,所以要使用\.
-e trace=set
只跟踪指定的系统调用.例如:-e trace=open,close,rean,write表示只跟踪这四个系统调用.默认的为set=all.
-e trace=file
只跟踪有关文件操作的系统调用.
-e trace=process
只跟踪有关进程控制的系统调用.
-e trace=network
跟踪与网络有关的所有系统调用.
-e strace=signal
跟踪所有与系统信号有关的系统调用
-e trace=ipc
跟踪所有与进程通讯有关的系统调用
-e abbrev=set
设定 strace输出的系统调用的结果集.-v 等与 abbrev=none.默认为abbrev=all.
-e raw=set
将指定的系统调用的参数以十六进制显示.
-e signal=set
指定跟踪的系统信号.默认为all.如 signal=!SIGIO(或者signal=!io),表示不跟踪SIGIO信号.
-e read=set
输出从指定文件中读出的数据.例如:
-e read=3,5
-e write=set
输出写入到指定文件中的数据.
-o filename
将strace的输出写入文件filename
-p pid
跟踪指定的进程pid.
-s strsize
指定输出的字符串的最大长度.默认为32.文件名一直全部输出.
-u username
以username 的UID和GID执行被跟踪的命令
2.3. 命令实例
跟踪可执行程序

strace -f -F -o ~/straceout.txt myserver
-f -F选项告诉strace同时跟踪fork和vfork出来的进程，-o选项把所有strace输出写到~/straceout.txt里面，myserver是要启动和调试的程序。

跟踪服务程序
strace -o output.txt -T -tt -e trace=all -p 28979
跟踪28979进程的所有系统调用（-e trace=all），并统计系统调用的花费时间，以及开始时间（并以可视化的时分秒格式显示），最后将记录结果存在output.txt文件里面。

跟踪网络调用
strace -T -tt -e trace=network [lannch_command]

3. pstack 跟踪进程栈

此命令可显示每个进程的栈跟踪。pstack 命令必须由相应进程的属主或 root 运行。可以使用 pstack 来确定进程挂起的位置。此命令允许使用的唯一选项是要检查的进程的 PID。请参见 proc(1) 手册页。

这个命令在排查进程问题时非常有用，比如我们发现一个服务一直处于work状态（如假死状态，好似死循环），使用这个命令就能轻松定位问题所在；可以在一段时间内，多执行几次pstack，若发现代码栈总是停在同一个位置，那个位置就需要重点关注，很可能就是出问题的地方；

示例：查看bash程序进程栈:

/opt/app/tdev1$ps -fe| grep bash
tdev1   7013  7012  0 19:42 pts/1    00:00:00 -bash
tdev1  11402 11401  0 20:31 pts/2    00:00:00 -bash
tdev1  11474 11402  0 20:32 pts/2    00:00:00 grep bash
/opt/app/tdev1$pstack 7013
#0  0x00000039958c5620 in __read_nocancel () from /lib64/libc.so.6
#1  0x000000000047dafe in rl_getc ()
#2  0x000000000047def6 in rl_read_key ()
#3  0x000000000046d0f5 in readline_internal_char ()
#4  0x000000000046d4e5 in readline ()
#5  0x00000000004213cf in ?? ()
#6  0x000000000041d685 in ?? ()
#7  0x000000000041e89e in ?? ()
#8  0x00000000004218dc in yyparse ()
#9  0x000000000041b507 in parse_command ()
#10 0x000000000041b5c6 in read_command ()
#11 0x000000000041b74e in reader_loop ()
#12 0x000000000041b2aa in main ()

参考资料：

linux工具快速教程
gdb中应该知道的几个调试方法