网络问题导致的性能问题是十分难以诊断的，特别是因为网络丢包而导致的性能问题，因为甚至你都看不到有任何错误产生。在这种案例下，通过netstat -s看到的统计数据中，TCP/UDP均没有报错。只是在一些地方看到了网卡存在包丢弃现象，比如：网络包DRP的问题在NIC物理网卡和网卡驱动层之间发生的，存在dropped包的时候有可能你的网卡并没有出现任何error，就像上面的那个例子一样。为什么会这样呢？借用一张美团的同行画的图来说明一下：

DRP最容易发生的位置就在这张图上，当网络包到达的时候，首先会在内存中分配sk_buffer(SKB)，然后把SKB的句柄写入RX ring buffer中(RX ring是一个环状缓冲)，然后告知NIC已经准备完毕，NIC可以向驱动发送网络包了。第四步，NIC通过DMA FETCH描述信息到RX RING，然后接收新包，并把包通过DMA写入SKB。在这个过程中如果出现RX RING写不下，就会丢弃一些包，这种情况fifo的计数就会增加。这一点可以从/proc/net/dev文件中看到：如果确实存在这种情况，那么就说明网络中断处理网络包的速度太慢，导致环状缓冲溢出丢弃部分来不及处理的网络包。这样的情况我们就需要分析CPU资源是否足够处理超大流量的网络包，或者是不是存在网络中断调度不合理，无法充分使用服务器CPU资源(在部分网卡驱动与OS版本兼容性不足，或者OS存在这方面的BUG的时候可能会出现这种情况，如果遇到这种情况，那么打补丁，更新网卡驱动或者调整中断相关参数等都可以解决问题)。不过我们并不是每次都能在这个文件中存在fifo计数器的数据，这种情况就更令人费解了。老白以前也遇到过类似问题，似乎问题在网络上，也发现了网络上大量的DRP包的计数，但是ERROR总是0，应用也没报错。直到有一次阅读了Peer Wisdom的文章《Large Send Offload and Network Performance》，才恍然大悟。这篇文章对这种情况中给出了很好的答案。LSO是Large Segment Offload的简称，中文名称叫大段卸载。当一个系统需要通过网络发送一大段数据时，计算机需要将这段数据拆分为多个长度较短的数据，以便这些数据能够通过网络中所有的网络设备(例如路由器、交换机)，这个过程被称作分段。通常，这个过程由计算机系统中的协议栈完成，而大段卸载技术将这一过程交给网卡处理，从而减少了CPU使用率。在CPU资源不足的时代，LSO能够很好的缓解服务器CPU的网络开销过大问题，不过在现实的环境中，经常会出现由于LSO而导致的网络性能下降问题。以下文字翻译自Peer Wisdon的文章：要了解LSO为什么这会如此严重地影响网络性能，让我们遵循一条典型的大型TCP消息，它在两个主机之间穿越网络。

• 启用LSO后，服务器上的TCP / IP网络堆栈将生成一条大型TCP消息;

• 服务器将大型TCP消息发送到以太网适配器，并由其LSO引擎对网络进行分段。因为LSO引擎无法发现交换机支持的MTU，所以它使用标准的默认值;

• LSO引擎将组成大型TCP消息的每个帧段发送到交换机;

• 交换机接收帧段，但是因为LSO发送的帧大于MTU，所以它们被默认为DRP;

• 在等待接收TCP消息的服务器上，如果没有收到数据，将会超时，并且它将发回重新发送数据的请求；

• 发送服务器接收重传请求并重建TCP消息。因为这是重传请求，所以服务器不会将TCP消息发送到要分段的以太网适配器。相反，它会自行处理细分过程。这似乎是为了克服适配器上卸载硬件引起的故障而设计的；

• 交换机从服务器接收适当大小的重传帧，因为服务器能够发现MTU，然后将其转发到路由器；

• 另一个服务器最终完整接收TCP消息。

基本上，这可以总结为卸载数据，分段传输数据，丢弃数据，等待超时，请求重传，段重传数据，重发数据。下次发送大型TCP消息时，将重复整个过程。因此，这是否会引起严重的网络性能问题也就不足为奇了。从上面的论述可以看出LSO导致的DRP在应用层并不会出现错误，也不会体现为网络真正的包错误，但是LSO导致的DRP还是有害的，被DRP的网络包要等到对端超时重发，这样会引起相关的网络性能问题，特别是在高负载的网络中，问题可能被放大。在一个复杂的网络环境中，网络设备数量众多，MTU的设置也可能存在不同，网卡开启LSO的缺点有两种，一是在网络负载较高的时候处理能力不足，从而导致网络性能下降；第二种就是类似今天的案例，因为LSO导致DRP引起性能问题。因此我们需要根据实际情况来确定是否启用LSO功能。我们可以通过tcpdump来验证是否系统中存在一些大包：tcpdump -v -c 10 -ni enp26s0f0 -ttt greater 1532

从上面那个例子看，系统中也确实是存在一些大包的，于是我们可以尝试用ethtool -K关闭LSO：

奇迹发生了，关闭LSO后，DRP的数字不再增加了。应用的性能也似乎好了不少。随着云时代的到来，网络问题可能会是运维人员遇到的比数据库问题更为常见，并且更为棘手的问题。DBA们是不是也该学两招网络诊断的技巧了呢？