Linux进程间端口占用问题

最近测试人员反馈一个bug，大致的现象就是手动停止一个进程，结果该进程监听的端口被另外一个进程抢占并且监听。

虽然解决方案简单，但属于典型问题，在这里记录下，也算是给自己提个醒，同时有遇到类似问题的小伙伴，可以借鉴参考。

测试环境

测试环境是在 centos 7 下出现，但该问题属于通用问题，解决方案适用于 Linux 及其它类 Unix 系统。

现象分析

系统主进程启动时会创建 TCP 服务，监听固定端口8888，接着会通过 system 系统调用启动一个新的进程，示意代码如下：

int main()
{...//初始化listen(8888);  //创建socket监听服务system("start another process");  //通过系统调用system启动另外一个进程...//资源回收}

当出现进程端口被占用的问题时，我的第一反应就是两个进程有没有父子关系，在现场用 ps -ef 命令看了下，然后傻眼了，两个进程没有父子关系，居然有种失望的感觉。

还是不死心，接着回到研发环境查看源码，在主程序中没有发现 fork exec 这些显式创建子进程的地方，而是使用 system 启动的新进程，用法参见上面的示例代码。

到这里，问题的原因基本能确定了，进一步查看 system() 官方手册说明，

NAME
system - execute a shell command

SYNOPSIS
#include <stdlib.h>
int system(const char *command);
DESCRIPTION
system() executes a command specified in command by calling /bin/sh -c command, and returns after the command has been completed.
During execution of the command, SIGCHLD will be blocked, and SIGINT and SIGQUIT will be ignored.

RETURN VALUE
The value returned is -1 on error (e.g., fork(2) failed), and the return status of the command otherwise. This latter return status is in the format specified in wait(2). Thus, the exit code of the command will be WEXITSTATUS(status). In case /bin/sh could not be executed, the exit status will be that of a command that does exit(127).
If the value of command is NULL, system() returns nonzero if the shell is available, and zero if not.
system() does not affect the wait status of any other children.

果不其然，该系统调用会启动一个 /bin/sh shell环境运行命令，底层实现上是通过 fork 启动一个新的子进程（仔细看上面返回值那一段说明，特意对关键字 fork 加粗），这点可以编写测试程序，通过调用 getpid 获取进程ID验证父子关系，在这里就不再过多阐述。

问题原因

到这里，就可以解释开篇提到的进程间端口被抢占的问题，本质原因在于调用fork创建子进程后资源未能正确释放。

熟悉 Linux/Unix 系统编程的小伙伴，可能对 fork 系统调用不会陌生，fork 创建的子进程会复制父进程的数据空间、环境、文件描述符等资源，执行的代码也完全相同，可以说除了返回值不同，其它几乎与父进程一模一样。

一般在实际使用过程中，都是结合fork 和 exec 一起使用，通过 fork 创建子进程，接着在子进程中调用 exec 系列函数替换现有进程，就能达到 fork 启动任意进程的目的。而在上面提到的代码片段中，我们的主程序中 system 启动其它进程的方式正是此类用法。

出现的原因就在于，调用 system 启动之前，父进程已经创建socket 并对其地址绑定具体监听端口；子进程会继承该socket描述符及其设置项，当父进程被主动关停后，操作系统释放其端口，子进程抢占该端口并完成监听。

解决方案

解决此问题的方法很简单，需要借助 fcntl 系统调用，在主进程代码中对 socket 描述符设置 FD_CLOEXEC 标志位，关闭 exec 启动的子进程中该 socket 的副本，代码片段如下：

int main()
{...//初始化sock = socket();  //创建套接字bind(sock, addr);  //绑定地址fcntl(scok, F_SETFD, FD_CLOEXEC);  //设置FD_CLOEXEC标志位listen(sock);      //监听服务system("start another process");  //通过系统调用system启动另外一个进程...//资源回收}

注意，为了说明 FD_CLOEXEC 标志如何设置，对 socket 监听服务的创建过程进行拆解，以便大家更好的理解。

总结

熟悉 Linux/Unix 编程的小伙伴，大家切记，在使用fork exec system等系列函数时，父进程已打开的资源，如果在子进程中未使用要注意正确的关闭，一方面能够避免资源浪费，另一方面避免出现本文类似的问题。