服务器文件传输抓包,服务端的抓包

如果不会在Linux命令行方式下抓包，永远不会成为服务端开发的高手；

当一个技术系统变得越来越庞大复杂的时候，用抓包的方式来掌握和理解其中的网络交互，就变得尤为重要；

抓包是掌握生产系统的一种方式，这种方式不依赖于具体的业务逻辑

最近发现身边很多Java程序员和PHP程序员不会在服务器上抓包，还是蛮吃惊的，这里结合多年的经验，讲解如何在服务器上抓包

1. Problem

这里列举几个典型的技术问题，这些问题使用其他方法比较难以解决，或者解决的效率比较低，但是使用抓包的方式就可以很好的处理。

1.1 后端系统间的通讯可靠性

假设两个后端系统A和B，A发了一个请求给B，但是B没有收到。A系统的业务日志显示已经发送请求，但是B系统的业务日志却没有收到相关请求的日志，如何定位问题

假如这个问题不是必现，而是偶尔出现，又该如何解决

1.2 如何确定请求方

有的时候，一个技术系统会突然收到很多莫名的请求，这些请求占用了蛮多的服务器资源，如何确定请求来自于哪里

2. Solution

在服务器上抓包，观察网络流可以解决上述问题，常用的抓包命令如下：

root@:~# tcpdump -iany -Xn -s0 port 443

tcpdump: verbose output suppressed, use -v or -vv for full protocol decode

listening on any, link-type LINUX_SLL (Linux cooked), capture size 65535 bytes

17:04:11.888152 IP 36.24.158.122.27603 > 10.133.206.234.https: Flags [S], seq 608876073, win 65535, options [mss 1412,nop,wscale 6,nop,nop,TS val 286050563 ecr 0,sackOK,eol], length 0

0x0000: 4500 0040 0000 4000 3306 abb6 2418 9e7a E..@..@.3...$..z

0x0010: 0a85 ceea 6bd3 01bb 244a b629 0000 0000 ....k...$J.)....

0x0020: b002 ffff 7918 0000 0204 0584 0103 0306 ....y...........

0x0030: 0101 080a 110c c903 0000 0000 0402 0000 ................

0x0040: 0000 0000 0000 0000 0000 0000 0000 0000 ................

17:04:11.888235 IP 10.133.206.234.https > 36.24.158.122.27603: Flags [S.], seq 539909370, ack 608876074, win 29200, options [mss 1460,nop,nop,sackOK,nop,wscale 7], length 0

0x0000: 4500 0034 0000 4000 4006 9ec2 0a85 ceea E..4..@.@.......

0x0010: 2418 9e7a 01bb 6bd3 202e 5cfa 244a b62a $..z..k...\.$J.*

0x0020: 8012 7210 9c28 0000 0204 05b4 0101 0402 ..r..(..........

0x0030: 0103 0307 0000 0000 0000 0000 0000 0000 ................

0x0040: 0000 0000 ....

2.1 tcpdump的工作原理

当网卡收到一个网络报文后，会将该报文发给所有能处理该报文的网络协议模块来进行解析处理。tcpdump通过注册一种虚拟的底层网络协议来获得对相关报文的处理权，同时将报文完整的复制一份，根据用户的过滤条件和展示选项进行报文的处理。

2.2 tcpdump常用选项

-i: 选定网卡的interface进行抓包，可取值为any(所有接口)、eth0(eth0接口)等

-n: 不要对主机名进行解析，即直接显示IP地址

-nn: 不要对主机名和端口进行解析，即直接显示IP地址和数字形式的端口号

-X: 抓到的包展示内容的时候，既包括Hex的样式，也包括ASCII码的样式

-s: 对每一个抓到的包，限制包的大小(以字节为单位)：-s0表示不限制大小，全部抓取和展示，-s 128 表示展示128个字节

2.3 tcpdump常用的过滤表达式

在一个繁忙的服务器上抓包的时候，会有大量的traffic，为了过滤出来你关心的报文，经常使用Expression进行过滤。

host: 对主机进行过滤，host后面跟服务器的IP，比如host 192.168.100.1表示只抓取源IP或者目的IP为192.168.100.1的报文

port: 对端口进行过滤，port后面跟服务器的端口号，比如port 80表示只抓取源端口号或者目的端口号为80的报文

src和dst: 这两个用户控制网络流的方向过滤，比如dst port 80表示只抓取目的端口号为80的报文，src ip 192.168.100.1表示只抓取源IP为192.168.100.1的报文

将过滤条件进行组合

可以使用and or not和小括号(需要\来转义)来组合过滤条件，如下所示：

tcpdump -iany -Xn -s0 port 443 and $ not host 192.168.100.1 or host 192.168.100.2 $

2.4 将tcpdump抓到的包保存到文件上

可以将tcpdump抓到的包保存到文件上，格式可以是二进制的(PCAP格式，可以下载到Windows用wireshark打卡)，也可以是文本格式。

举例A. 将tcpdump抓到的包以二进制形式保存到文件上，使用-w选项

tcpdump -iany -Xn -s0 port 443 -w /tmp/aaa.pcap

举例B. 将tcpdump抓到的包以文本形式保存到文件上，使用重定向

tcpdump -iany -Xn -s0 port 443 > /tmp/aaa.txt 2>&1

3. Discussion

3.1 TCP的连接建立

TCP的连接建立是通过收发双方的三次握手进行的

每个packet第一行里的Flags [S]中表示握手阶段(S为synchronize的缩写)，双方握手主要是在交换收发双方当前的序列号、窗口大小和其他TCP的选项；每个packet第一行里的ack 2335101116表示接收方对发送方内容的ack，以序列号为标志。

14:26:52.511678 IP 10.133.206.234.36018 > 10.66.149.55.3306: Flags [S.], seq 2335101115, win 29200, options [mss 1460,nop,nop,sackOK,nop,wscale 7], length 0

0x0000: 4500 0034 e5e4 4000 4006 dbf6 0a85 ceea E..4..@.@.......

0x0010: 0a42 9537 8cb2 0cea 8b2e d0bb 0000 0000 .B.7............

0x0020: 8002 7210 790f 0000 0204 05b4 0101 0402 ..r.y...........

0x0030: 0103 0307 0000 0000 6f6d 2060 745f 7573 ........om.`t_us

0x0040: 725f 7072 r_pr

14:26:52.511960 IP 10.66.149.55.3306 > 10.133.206.234.36018: Flags [S.], seq 3990271169, ack 2335101116, win 5760, options [mss 1404,nop,nop,sackOK,nop,wscale 7], length 0

0x0000: 4500 0034 0000 4000 3f06 c2db 0a42 9537 E..4..@.?....B.7

0x0010: 0a85 ceea 0cea 8cb2 edd6 b4c1 8b2e d0bc ................

0x0020: 8012 1680 47b0 0000 0204 057c 0101 0402 ....G......|....

0x0030: 0103 0307 7369 6f6e 2073 716c 5f6d 6f64 ....sion.sql_mod

0x0040: 653d 274f e='O

14:26:52.511991 IP 10.133.206.234.36018 > 10.66.149.55.3306: Flags [.], ack 1, win 229, length 0

0x0000: 4500 0028 e5e5 4000 4006 dc01 0a85 ceea E..(..@.@.......

0x0010: 0a42 9537 8cb2 0cea 8b2e d0bc edd6 b4c2 .B.7............

0x0020: 5010 00e5 7903 0000 0100 0001 1944 0000 P...y........D..

0x0030: 0203 6465 6608 6175 ..def.au

3.2 TCP的连接释放

TCP的连接释放是通过收发双方的四次释放完成的

每个packet第一行里的Flags [F]中表示开始释放(F表示Finish)。

下述抓包是端口为20103的进程，主动关闭MySQL(端口号为3306)：

20103的进程首先发送Fin包给MySQL

MySQL对此Fin包进行ack

MySQL再对20103的进程发Fin包

20103的进程对MySQL的Fin包进行确认

10:10:06.468550 IP 10.133.206.234.20103 > 10.66.149.55.3306: Flags [F.], seq 604, ack 4107, win 318, length 0

0x0000: 4500 0028 db7d 4000 4006 e669 0a85 ceea E..(.}@.@..i....

0x0010: 0a42 9537 4e87 0cea 35e7 a877 21a4 a45e .B.7N...5..w!..^

0x0020: 5011 013e 7903 0000 0204 057c 0101 0402 P..>y......|....

0x0030: 0103 0307 0000 0072 .......r

10:10:06.468853 IP 10.66.149.55.3306 > 10.133.206.234.20103: Flags [.], ack 604, win 62, length 0

0x0000: 4508 0028 b918 4000 3f06 09c7 0a42 9537 E..(..@.?....B.7

0x0010: 0a85 ceea 0cea 4e87 21a4 a45e 35e7 a877 ......N.!..^5..w

0x0020: 5010 003e 36db 0000 1000 0000 0375 7365 P..>6........use

0x0030: 2060 6175 6374 696f .`auctio

10:10:06.468856 IP 10.66.149.55.3306 > 10.133.206.234.20103: Flags [F.], seq 4107, ack 604, win 62, length 0

0x0000: 4508 0028 b919 4000 3f06 09c6 0a42 9537 E..(..@.?....B.7

0x0010: 0a85 ceea 0cea 4e87 21a4 a45e 35e7 a877 ......N.!..^5..w

0x0020: 5011 003e 36da 0000 5800 0000 0a35 2e35 P..>6...X....5.5

0x0030: 2e32 342d 4344 422d .24-CDB-

10:10:06.468886 IP 10.133.206.234.20103 > 10.66.149.55.3306: Flags [.], ack 4108, win 318, length 0

0x0000: 4500 0028 db7e 4000 4006 e668 0a85 ceea E..(.~@.@..h....

0x0010: 0a42 9537 4e87 0cea 35e7 a878 21a4 a45f .B.7N...5..x!.._

0x0020: 5010 013e 7903 0000 3100 0000 1673 6574 P..>y...1....set

0x0030: 206e 616d 6573 2027 .names.'

3.3 TCP的数据传输

一般而言，TCP建立连接后开始进行数据传输，第一行里的length字段表示传输的payload的长度。

Flags [P.]表示发送方已经将当前发送buffer里的所有数据发给接收方，接收方需要尽快将此数据上报给顶层应用，P表示Push。如果没有Flags [P.]，则表示此packet发完之后，发送buffer里还有待发送的数据。

示例A：MySQL应答了1424字节的数据，但是MySQL对应的tcp里的发送buffer，还有数据。

10:10:06.458574 IP 10.66.149.55.3306 > 10.133.206.234.20103: Flags [.], seq 169:1593, ack 522, win 62, length 1424

0x0000: 4508 05b8 b914 4000 3f06 043b 0a42 9537 E.....@.?..;.B.7

0x0010: 0a85 ceea 0cea 4e87 21a4 94fc 35e7 a825 ......N.!...5..%

......

示例B：MySQL应答了618字节的数据，MySQL对应的tcp里的发送buffer里已经没有数据，接收方需要尽快将此数据上浮给高层应用。

10:10:06.458574 IP 10.66.149.55.3306 > 10.133.206.234.20103: Flags [P.], seq 1593:2211, ack 522, win 62, length 618

0x0000: 4508 0292 b915 4000 3f06 0760 0a42 9537 E.....@.?..`.B.7

0x0010: 0a85 ceea 0cea 4e87 21a4 9a8c 35e7 a825 ......N.!...5..%

0x0020: 5018 003e 4bc7 0000 725f 6e61 6d65 0e64 P..>K...r_name.d

0x0030: 6561 6c5f 6164 6472 5f6e 616d 650c e000 eal_addr_name...

3.4 TCP的包头格式

1530845376699.jpg

常见标记：

S ( SYN synchronize )：Synchronize sequence numbers to initiate a connection

A ( ACK acknowledgement )： Acknowledge sender packet with sequence number

F ( FIN finish )：The sender of the segment is finished sending data to its peer

R ( RST reset )： Reset the connection (connection abort, usually because of an error)

P ( PSH push )： The receiver should pass this data to the application as soon as possible

备注：R标记的包，在网络排故的时候很有用，如果tcpdump抓出来的包有大量的reset标记，大概率意味着连接请求被防火墙或者其他安全措施挡住啦。

3.5 二进制协议

TCP/IP协议族中的大部分协议，其Header都组织为二进制格式，即每个bit或者bit串需要当成数值直接定义；另外很多Application也将自己的协议(例如PC QQ)组织为二进制的格式，二进制协议不易读，但是占用空间小，因而传输效率高。

下图为一个应用程序发起连接MySQL的请求，报文里0x0012字节的值为0x4e87 = 20103，即为发送方的端口号；报文里0x0013字节的值为0x0cea = 3306，即为服务方的端口号。

WechatIMG642.jpeg

对于二进制协议，经常接合包里某个偏移位置上的内容进行抓包，比如下边的命令可以抓取所有和MySQL交互的报文：

root@:~# tcpdump -iany -Xn -nn -s0 ip[0x0014:2] = 0x0cea or ip[0x0016:2] = 0x0cea

3.6 字符串协议

包括MySQL、RabbitMQ在内，很多Application也会将自己的协议组织为字符串的格式，字符串格式的协议比较human-readable，可以对抓到的报文做很多二次操作。

对SQL(select * from t_usr_profile where mobile_phone = '13155668877')的抓包结果如下：

11:34:38.933455 IP 10.133.206.234.33166 > 10.66.149.55.3306: Flags [P.], seq 2397:2488, ack 148577, win 1475, length 91

0x0000: 4500 0083 bdf5 4000 4006 0397 0a85 ceea E.....@.@.......

0x0010: 0a42 9537 818e 0cea daa3 0567 8b16 d9f5 .B.7.......g....

0x0020: 5018 05c3 795e 0000 5400 0000 0000 0050 P...y^..T......P

0x0030: 0000 0003 5345 4c45 4354 202a 2046 524f ....SELECT.*.FRO

0x0040: 4d20 6074 5f75 7372 5f70 726f 6669 6c65 M.`t_usr_profile

0x0050: 6020 5748 4552 4520 606d 6f62 696c 655f `.WHERE.`mobile_

0x0060: 7068 6f6e 6560 203d 2027 3133 3135 3536 phone`.=.'131556

0x0070: 3638 3837 3727 204c 494d 4954 2030 2c31 68877'.LIMIT.0,1

0x0080: 3030 3041 5445 2c45 5252 4f52 5f46 4f52 000ATE,ERROR_FOR

0x0090: 5f44 49 _DI

我们可以把这类抓包保存到文本文件上，结合Linux的搜索命令，快速定位出操作手机号131556的请求(主要是搜索抓包结果最右侧的文本内容，因此注意折行)

3.7 其他方式的抓包

HTTPS的抓包：HTTPS因为加密的缘由，已经无法查看抓到的包的内容啦，如果大伙有高招(服务端)，请告诉我。

另外，tcpdump的兄弟工具，wireshark以插件的形式对外提供了很多parse包的定制化能力，结合Lua语言可以构建出强大的二次分析能力。

4. Answer

4.1 请求的不可达(必现)

在B的服务器上抓包，过滤主机A的IP，观察相关的报文是否达到服务器B上

tcpdump -iany -Xn -s0 host 192.168.100.1

4.2 请求的不可达(不是必现)

假如4.1的问题不是必现，而是偶尔出现，又该如何解决

在后台抓一段时间的包，之后再分析抓包的结果(特别注意：如果抓包量比较大的话，一定要避免把磁盘打满，此时需要增加更多的过滤表达式)

//将抓到的包输出到/tmp/1里，并且在后台运行

root@:~# nohup tcpdump -iany -Xn -nn -s0 host 10.66.149.55 > /tmp/1 2>&1 &

//可以看到存储包的文件大小在不断的涨

root@:~# ls -lh /tmp/1

-rw-r--r-- 1 root root 2.4M 7月 6 17:05 /tmp/1

//查看后台运行的job

root@:~# jobs

[2]+ 运行中 nohup tcpdump -iany -Xn -nn -s0 host 10.66.149.55 > /tmp/1 2>&1 &

//将后台运行的job切换到前台

root@:~# fg 2

nohup tcpdump -iany -Xn -nn -s0 host 10.66.149.55 > /tmp/1 2>&1

//结束抓包 Ctrl + C

//用其他命令来分析抓包结果，进而判断究竟是包没有达到B，还是A没有发出，还是被防火墙拦住啦

root@:~# ls -lh /tmp/1

-rw-r--r-- 1 root root 11M 7月 6 17:08 /tmp/1

4.3 确定请求方

有的时候，一个技术系统会突然收到很多莫名的请求，这些请求占用了蛮多的服务器资源，如何确定请求来自于哪里。

假设这个请求有固定的特征，比如说有固定的订单号或其他标识串，这个特征可以在抓包结果的最右侧捕获到。

解决这类问题的总思路是分析请求方服务器IP的分布，根据IP分布确定原因，一般而言原因分为几类：

服务方系统自身的bug，导致了ping-pang(A系统发请求给B，B请求了C，C又请求了A，也就是说同一个请求在系统间不停的路由转发而不总结)，ping-pang是最为严重的bug，很容易把系统压瘫痪

系统配置有误，导致请求方不断在重试该请求

请求方底层依赖的框架或组件有bug(重发策略或路由分发策略等)，导致不断重发一些过期的请求

下面以MySQL不断收到如下SQL的查询为例，列举一些思路和使用到的命令，这里的核心是熟练掌握Linux的常用命令。

select * from `t_usr_profile` where `mobile_phone` = '13155668877'

在服务方的机器上根据服务端口抓一段时间包，假设服务端是MySQL，则使用dst port 3306来过滤抓到的包，将抓到的包重定向到临时文件上(aaa)，形如：

nohup tcpdump -iany -Xn -s0 dst port 3306 > /tmp/aaa 2>&1 &

; /tmp/aaa内容如下：