/******************************************************************************************
*　　　　　　　　　　　　　　版权声明
*　　　本文为本人原创，本人拥有此文的版权。鉴于本人持续受益于开源软件社区，
*　本人声明：任何个人及团体均可不受限制的转载和复制本文，无论是否用于盈利
*　之目的，但不得修改文章内容，并必须在转载及复制时同时保留本版权声明，否
*  则为侵权行为，本人保留追究相应主体法律责任之权利。
*　　　　　　　　　　　　　　 speng2005@gmail.com
*　　　　　　　　　　　　　　 　　 2016-1
******************************************************************************************/

大道至简！

相信抓包是程序员，运维工程师，架构师，都必不可少的一项技能。但是能够深入掌握好这门技艺的人，确实需要有开发，网络，运维，架构等"跨界”背景才能比较好的发挥抓包神技的威力。本文是纯干货，重点不在于理论，更注重实战技能，尤其注重对抓包数据的分析。本文中的命令追求的是使用最简单，最普及的Linux系统自带工具包实现各种抓包分析，具有尽可能广泛的移植性和可用性。文中给出的命令均在Centos 6.3，tcpdump 4.1版本下测试可用；其他平台及环境，可能需要你自己微调部分命令及脚本才可以运行。文中多数命令及脚本都严重依赖于tcpdump命令输出文本数据格式，微调代码时应格外注意这一点。注意，本文中的命令适用于一般的基于tcp连接的，请求响应模型的网络服务，但不适用于使用pipeline模式的网络服务。如果想理解本文命令思路的话，需要你熟悉tcp/ip协议，网络osi模型，常见网络通讯协议，socket编程，linux脚本编程，awk脚本编程，数据挖掘思维方式等知识，不足者请自行脑补。理解本文的思路后，还可以在这些命令基础上有许多种灵活搭配和变种，请自行研究。不想费脑细胞的，运气好的话，很多命令都可以直接使用。尽管这里讲的是Linux抓包，但如果使用流行的wireshark在Windows上抓包后保存成tcpdump格式文件，然后上传到Linux系统上照样可以使用本文中的命令进行分析。

1.盲抓

盲抓就是瞎抓，尤其在你接触到一台陌生机器，感觉有点抓瞎的时候，应当使用本节中的方法，其目的是找出这台机器上的重点网络服务是哪些ip和端口。如果你明确的知道要抓的包是哪个ip，哪个端口，可以直接跳至下一小节。

在目标机器上抓取任意tcp数据(需要root权限)：

分析目标机器上热点ip:port(按数据包数量统计)：

分析目标机器上热点ip:port(按字节数,即带宽统计)：

分析数据流量概要信息(调整ipportRegex的值来控制统计口径)：

2.抓取源数据

明确了要抓取的目标服务的ip和端口后，就要开始正式抓包了，这些抓包数据是后续分析工作的基础。当然，你可能在抓包之前还要做一些其他工作，以保证抓包时的工作场景就是你想要分析的目标场景。抓包时你需要root权限。

抓取不含包体的包：

抓取含有包体的包并进行初步解包：

3.过滤

有时候，需要分析的问题是包含在抓取目标服务的全部数据包中的一小部分，这个时候就要对包数据进行过滤。当然也可以在上一节进行抓取时直接进行过滤，但这里主要满足事后的过滤需求。

过滤掉含有包体的数据文件，只保留数据包头：

按时间段过滤含有包体的数据文件(调整start和end的值以改变时间范围)：

按ip端口过滤含有包体的数据文件(调整ip和port的值)：

按文本关键字过滤含有包体的数据文件(调整keyword的值)：

按二进制串关键字从二进制数据包中过滤含有包体的数据文件(性能稍低，对于大文件耐心等待;例子中是过滤包含"test_dava_11968@163.com"字符串的数据包)：

4.分类

通过分类，将抓包文件中混杂在一起的多个客户端的数据包拆分成各自单独的文件，以利于人工查看以及后续分析。新生成的文件放在当前目录下的子目录中，例如10.64.12.14.443_detail。

按client端ip端口将混杂在一起的含有包体的包拆分的单独文件:

按client端ip端口将混杂在一起的含有包体的包拆分的单独文件(超过1000个client后因受同时打开文件数限制awk性能非常低，可增加dd命令的bs缓冲区大小，并使用limit参数进行限制):

5.交互分析

前面的分析处理仅限于数据包本身的ip和port，而本节的交互分析则将数据包归类到一个个具体的tcp连接之中，提取有关的交互“成本”数据，并尝试分析数据包在请求响应模型中的交互语义。本节中的命令需要系列awk脚本支持，为不影响理解本节主要内容，相关脚本源码附录在文章末尾供参考，其中包含主脚本parseTcp.awk，以及若干插件脚本：fixLenParser.awk，lineParser.awk，oracleSqlParser.awk，httpParser.awk。

分析单个不含包体的数据文件的交互过程：

分析单个不含包体的数据文件中只与某特定客户端有关的交互过程：

分析多个分类后含有包体的数据文件的交互过程(cd进入上一节分类后所生成的目录下执行命令)：

分析多个分类后含有包体的数据文件的交互过程(cd进入分类后文件所在目录下执行命令。支持识别包体中的特征数据，并打印出来便于后续业务分析。可编写类似oracleSqlParser.awk或httpParser.awk插件脚本进行新协议或业务扩展。源码附录在文章末尾)：

6.统计分析

统计分析用于掌握一批数据包反映的整体交互规律和指标数据。配合使用上一节交互分析中获得的业务关键字过滤，还可以分析具有某些特定特征的交互指标数据。

分析多行模式输出的交互过程的请求响应对的平均响应时间(含请求响应的网络传输时间，但不含socket建立阶段)：

分析多行模式输出的交互过程的请求响应对的服务器平均处理时间：

分析多行模式输出的交互过程的请求响应对的平均请求大小：

分析多行模式输出的交互过程的请求响应对的平均响应大小：

分析某多行模式输出的https短连接交互过程的ssl握手阶段的平均处理时间：

分析某多行模式输出的https短连接交互过程的ssl握手阶段的tps及每秒平均处理时间(可导入excel作图)：

上例做图如下：

分析某多行模式输出的https短连接交互过程的socket建立完成至服务器accept此连接经历的平均等待时间(可导入excel作图)：

分析某多行模式输出含有包体特征数据的oracle长连接交互过程中select语句及update语句的平均响应时间：

附录：

parseTcp.awk源码(文件需有可执行权限)：

fixLenParser.awk源码(这是一个插件，不可独立运行)：

lineParser.awk源码(这是一个插件，不可独立运行)：

oracleSqlParser.awk源码(这是一个插件，不可独立运行)：

httpParser.awk源码(这是一个插件，不可独立运行)：