许多企事业单位的核心业务系统通常对稳定性、性能和扩展性有很高的要求。应用负载均衡设备通过对服务器建立有效的健康检查和负载均衡机制，提供一种高性价比、透明的容错方法扩容网络设备和服务器的带宽、吞吐量和数据处理能力，提高网络的灵活性和可用性。这些特性使得应用负载均衡备受青睐。但同时负载均衡出的问题也会经常让网管人员“头痛”。这里我们分享了一个典型的由于负载均衡设备造成的业务访问失败的案例。

与链路负载均衡设备一样，作为流量转发的一环，应用负载均衡设备也可能导致业务访问失败。

1.1   问题描述

1.1.1 故障环境

客户端通过10.189.96.171访问客服web，负载均衡设备-1的IP为10.189.96.169，负载均衡设备-2的IP为10.189.96.170，负载均衡设备-1和负载均衡设备-2通过自身的IP与客服web( 10.191.121.x)通讯，负载均衡设备转发客户端的请求，然后再将响应转发给客户端。

1.1.2 故障现象

客户端通过189.96.171访问Web服务器，会出现404 not found提示：

图 1‑2

客户端直接访问客服web的IP则不会出现问题，怀疑负载均衡设备转发存在问题，需要找到数据进行验证。

1.2   分析过程

1.2.1 分析思路

本故障中出404 NOT  FOUND错误的原因有两个：

一个客户发起的请求不存在，

二是负载均衡设备转发客户端的请求存在问题。

原因一的分析确认方法：

提取404 NOT FOUND会话中的客户端请求，直接访问可以确定客户的请求是否有效，经验证，出现404 NOT FOUND提示的请求直接可以访问，从而排除了第一个原因。

原因二的分析确认方法：

将客户端的请求与负载均衡设备转的请求进行对比分析，确定负载均衡设备的转化是否存在问题。这也是这次分析的重点。

1.2.2 前期分析准备

通过客户反馈，找出错误提示的会话，提取关键字：

图 1‑3

经过与用户确认，每个出错页面的content=“WebLogic Server”；

数据流信息包括客户端IP、sessionID等关键字；

提取正常访问数据，为对比分析做准备。

客户端与负载均衡设备正常的通讯数据：

图 1‑4

客户端的请求里包括详细的get请求，客户端IP、 sna_cookie和login_cookie信息。

负载均衡设备与服务器的正常通讯分析：

图 1‑5

负载均衡设备(10.189.96.70)发起请求，包含的信息与客户端发出的请求信息一致。

1.2.3 分析过程

由于需要完整抓取客户端到负载均衡设备和负载均衡设备到客服web的所有数据，而且该现像不定期出现，所以镜像负载均衡设备端口，并部署科来网络回溯分析系统进行数据采集，等问题重现后提取数据包分析。

图 1‑6

客户端与负载均衡设备的通讯数据分析：

客户端(10.191.138.210)发起GET请求，请求数据1.601KB，内容包括客户端IP、 sna_cookie和login_cookie等信息，服务器10.189.96.171响应404 NOT FOUND，客户端的端口为1359。

图 1‑7

再看客户端与负载均衡设备的数据流信息验证：

图 1‑8

客户端的请求里包括详细的get请求，客户端IP、 sna_cookie和login_cookie信息，且服务器的错误响应包含content=“WebLogic Server”。

负载均衡设备与服务器的通讯分析

提取负载均衡设备与服务器的通讯，设置高级过滤器：(请求里的cookie有客户端的IP信息，数据流包括WebLogic Server，还可以通过sessionID等)。

图 1‑9

负载均衡设备(10.189.96.70)发起请求，请求数据826B，小于客户端的请求数据(未见get请求)，服务器10.191.121.32响应404 NOT FOUND，负载均衡设备的端口为1359，与客户端的端口一样。

与客户端的请求综合对比分析可知，负载均衡设备与服务器端通讯的请求不完整，未见sna_cookie信息，但通过login_cookie，客户端IP，sessionid等信息可以确定这是与客户端请求负载均衡设备的同一会话，且服务器的错误响应包含content=“WebLogic Server”。

图 1‑10

1.3   分析结论与建议

负载均衡设备转发的请求与客户端发出的请求不一致，导致客户端访问客服web出现4O4 NOT FOUND提示，该问题与客户端和服务器无关，应是负载均衡设备的转发存在BUG。

1.4  价值

当应用出现不能访问时，我们通常会怀疑是某个网络设备或端点设备的问题，比如本案例我们怀疑是应用负载均衡的问题，但如果缺乏有效的手段和工具，排查问题将会耗费大量的时间。

通过网络分析技术能够帮助用户进行数据包级的精细分析，可以看出数据包在传输中是否存在异常，迅速定位异常节点，从而进行快速排障。