问题描述

2018-12-15, 辅导服务一台服务器的 TCP 连接数忽上忽下(如下图), 上下浮动在400~500的数量. 而此时 CPU 一直在满负载, 内存占用很高(如下图). 导致用户无法正常上课.

问题缘由

1. TCP 连接中, 存在全球各地的 IP, 并且数量占比很高, 存在恶意攻击的可能.

2. 辅导服务会为每个 TCP 连接都会创建一个 ticker, 并且没有释放. time.NewTicker() → time.startTimer() → runtime.addtimer() → runtime.addtimerLocked() → runtime.timerproc() → runtime.siftdownTimer().

每来一个 TCP 连接, ticker 会新增, timerproc 是唤醒处理定时器的一个函数. golang使用的最小堆维护的一个timer队列, go比较费时，每次操作最坏情况下都是logn（n为时间队列长度）.

新建了很多 ticker, 资源未释放, 导致内存占用过高.

经验教训

Never call time.NewTicker(…) within a fast iterating for loop.

Stop the ticker to release associated resources.

参考资料:

                 https://zhuanlan.zhihu.com/p/30268582

                 https://guidao.github.io/go_timer.html

                 https://forum.golangbridge.org/t/runtime-siftdowntimer-consuming-60-of-the-cpu/3773