ndpi 流量协议分析

1、nDPI介绍

2、nDPI库

3、示例

4、API nDPI

5、开发nDPI自定义协

1、nDPI介绍

nDPI是一个基于OpenDPI的DPI库，目前由ntop维护。

为了给您提供一个跨平台的DPI体验，我们除了支持Unix/Linux外，同时也支持Windows。不仅如此，我们已经通过修改nDPI，使得它更加适合于流量监控应用，我们通过禁用那些对网络流量监控不必要的特性，已经实现了这一功能，因此也加快了DPI引擎的速度。

nDPI允许应用层检测协议，而不管使用的端口是什么。这意味着在非标准端口监测已知协议（例如在80号端口之外的端口检测HTTP协议）或者反过来（例如在80号端口检测Skype流量）都成为了可能。这是由于在当今“端口=应用”的概念不再适用。

在过去的几个月里，我们也已经新增加了几个功能特性，包括：

示例ndpiReader应用在速度/功能方面和封装支持上都得到了加强。（例如你现在可以对GTP隧道流量进行分析）
能够将nDPI编译到Linux内核中，以便于你能使用它开发高效的基于内核的模块。
多方面速度加强，nDPI现在比他的前身（之前的版本）更快。
添加了许多协议（到目前为止我们支持大约200个协议），其中包括如SAP与Citrix等的“业务”协议，也有像Dropbox与Spotify的“桌面”协议。
能够去定义基于端口（和端口范围）的协议检测，以便于你能使用经典的基于端口的检测来去补充协议检测。
为了能让nDPI支持加密的链接，我们已经为SSL（包括服务器与客户端）证书添加了解码器。因此，我们能够使用加密证书来理解弄清楚协议。同时这也能让我们去识别如Citrix Online与Apple ICloud等一般无法检测到的协议。
能通过使用基于字符串的匹配来支持子协议。

1.1、下载源

当你在构建ntop与nProbe时nDPI会自动被下载。当然也没有什么能阻止你将其用作一个独立的DPI库。你可以从https://github.com/ntop/nDPI 下载源码。

2、nDPI库

2.1、编译nDPI源码

开始使用nDPI库非常地简单。为了编译这个库，你必须满足一些先决条件比如：

GUN autotools/libtool
gawk
gcc

为了实现这些，你需要使用以下命令来安装他们：

一旦你完成了上面的安装，你就能使用以下命令编译nDPI源码：

cd <nDPI source code directory>
./autogen.sh
./configure
make

2.2、编译示例ndpiReader源码

开始使用ndpiReader也很简单。为了编译它你必须使用以下命令：

cd <nDPI source code directory>/example
make

2.3、ndpiReader命令行选项

这个示例ndpiReader应用在速度/功能分析方面和封装支持上均能被使用。特别的是，ndpiReader能够指定很多命令行选项。

下面列举了可使用的命令选项和每一个选项的简要简要介绍：

-i <file.pcap |device>

这项命令用于指定一个pcap文件来读取数据包，或者指定一个用于实时捕获的设备。而且只能指定两者当中的一个。

-f <BPF filter>

指定一个BPF过滤器用来过滤选定的流量。它只允许nDPI接受那些和过滤器匹配的数据包（如果被指定的话）。

-s <duration>

定义了捕获持续时间，以秒为单位，仅用于实时流量捕获。

-p <file.protos>

指定了一个协议文件（例如protos.txt）来扩展对子协议和基于端口协议检测的支持。尤其需要小心的是，协议一旦被定义到protos文件中就会覆盖之前的已经存在的协议。

-l <num loops>

检测循环数（仅用与测试）

-d

这个标志会禁用nDPI协议猜测，仅使用DPI。

-t

打印ndpiReader帮助

-v <1|2>

使用这个标志时，ndpiReader会生成详细的输出，这个输出能被用于调试其性能。数字1是显示带有“未知协议”数据包的最低等级，而2级会显示地更加详细，两者只能指定其一。

2.4、协议文件

nDPI能够通过基于字符串的匹配支持子协议。这是由于许多新的子协议比如Apple iCloud/iMessage，WhatsApp和许多其他的使用HTTP（s）的协议能够通过解码SSL证书主机或者HTTP“Host:”被检测到。因此我们决定将一个基于流行的Aho-Corasick 算法的高效字符匹配库嵌入到nDPI中，用于数十万子字符的高效匹配（即在普通硬件上能足够快地支持10Gb的流量）。

你可以在运行时通过使用一个用以下格式的协议文件来指定子协议：

除此之外，你也能使用以下格式来指定一个基于端口的检测：

你可以使用ndpiReader这个应用（使用 –p 选项）来测试你的自定义配置。或者你可以使用ndpi_load_protocls_file() nDPI API调用来增强你自己的应用。

3、示例

在这一节我们会展示一些ndpiReader的使用范例。

3.1、实时捕获模式

下面这个例子将会展示ndpiReader的实时捕获模式。使用参数-i指定接口设备，参数-s 指定实时捕获持续时间。

3.2、pcap 捕获模式

创建一个pcap文件最简单的方法就是通过使用tcpdump命令，就像下面这个例子：

一旦pcap文件被创建，你就能启动ndpiReader，使用参数-I :

3.3、协议文件

为了阐明协议文件的特性，我们现在将解释怎样让你识别来自ntop.org的流。

我们可以通过编辑protos.txt文件来实现它：

ntop$ echo 'host:"ntop.org"@nTop'> protos.txt

一旦这个协议文件已经被修改，你可以启动ndpiReader，使用参数 –p：

4、API nDPI

在这一节中nDPI API是重点。

示例ndpiReader现在有一个基础的例子用来展示如何初始化这个库。需要一个已经编译好的库和一个合适配置的Makefile（即示例Makefile）。

想要在你的应用中开始使用nDPI的API，除了你自己的包含外，必须也添加下面这个包含文件：

#include"dpi_main.h"

这个库可以像下面这样初始化：

1、声明协议位掩码，初始化检测模块：

NDPI_PROTOCOL_BITMASK all;
ndpi_struct = ndpi_init_detection_module(detection_ticks_resolution,malloc_wrapper,free_wrapper,debug_printf);

这个函数允许你初始化检测模块。字段有如下含义：

U_int32_t ticks_per_second

每秒时间戳分辨率（比如1000每毫秒分辨率）。

void*(*_ndpi_malloc)(unsigned long size);

指向一个内存分配器的函数指针。

void*(*_ndpi_free)(void*prt);

指向一个调试输出函数的函数指针，在生产环境下置空（NULL）

2、通过适当的宏并将他们设置到检测模块中来启用所有协议（需要注意的是，如果你愿意你也可以启用这些协议的子集）。

// enable all protocols
NDPI_BITMASK_SET_ALL(all);
ndpi_set_protocol_detection_bitmask2(ndpi_struct, &all);

这个函数能让你设置已经定义到检测模块中的协议位掩码。

3、为了加载一个存在的协议文件，你必须使用如下函数：

dpi_load_protocols_file(ndpi_struct, _protoFilePath);

4、每当从你的pcap文件或者入口设备中捕获到流时，它们可以通过使用以下函数分析：

protocol = (const u_int32_t)ndpi_detection_process_packet(ndpi_struct,ndpi_flow,iph ? (uint8_t *)iph : (uint8_t *)if,ipsize,time,src,dst);

这些字段有以下的含义：

struct ndpi_detection_module_struct*ndpi_struct;

检测模块。

 struct ndpi_flow_struct*flow;

指向连接状态机的流空指针。

const unsigned char*packet;

这个packet作为一个无符号的字符指针，长度为packetlen。这个指针必须指向第三层（IP报头）。

const unsigned short packetlen;

packetlen包的长度。

const U_int32_t current_tickt;

数据包的当前时间戳。

struct ndpi_id_struct*src;

指向源订阅状态机的空指针。

struct ndpi_id_struct*dst;

指向目的订阅状态机的空指针。

5、一旦流被分析后，有必要通过下面的函数来摧毁检测模块。

 ndpi_exit_detection_module(ndpi_struct, free_wrapper);

这些字段有以下含义：

 struct ndpi_detection_module_struct*ndpi_struct;

需要被消除的检测模块。

void*(*_ndpi_free)(void*prt);

指向一个内存释放函数的函数指针。

如需进一步的信息，我们建议可以阅读以下文件：

nDPI/example/ndpiReader.c,
nDPI/src/include/ndpi_structs.h,
nDPI/src/include/ndpi_public_functions.h
nDPI/src/ndpi_main.c

协议解析器文件被包含在nDPI/src/protocols 目录下。

5、开发nDPI自定义协

在这一节中，我们将展示将你的协议包含在nDPI中的方法。

5.1、介绍

每个nDPI协议都会作为一个入口函数被实现，在运行时通过nDPI被使用。nDPI有几个协议可以被用来当作这个方面的例子。下面，我们列出了一些主要的概念，如果你打算开发一个nDPI协议，这些是你必须知道的。

5.2、创建新的协议

每一个协议都必须在下面的头文件中有一个对应的定义：

<nDPI source code directory>/src/include/ndpi_protocols_osdpi.h

例如：

#define NDPI_PROTOCOL_MY_PROTOCOL     171

NDPI_PROTOCOL_MY_PROTOCOL是这个协议的名字，171是这个协议的ID，且必须是独一无二的。

一旦定义了协议，您必须创建一个新的协议源文件，如

<nDPI source code directory>/src/lib/protocols/my_protocol.c

包括以下内容：

#include "ndpi_utils.h"
#ifdef NDPI_PROTOCOL_MY_PROTOCOLS
.....
#endif

在里面，需要定义一个入口函数，如：

void ndpi_search_my_protocol(struct ndpi_detection_module_struct *ndpi_struct,struct ndpi_flow_struct *flow)
{struct ndpi_packet_struct *packet = &flow->packet;NDPI_LOG(NDPI_PROTOCOL_MY_PROTOCOL, ndpi_struct,NDPI_LOG_DEBUG, "my protocol detection...\n");
/* skip marked packets by checking if the detection protocol stack */if (packet->detected_protocol_stack[0] != NDPI_PROTOCOL_MY_PROTOCOL) {ndpi_check_my_protocol(ndpi_struct, flow);}
}

及其一个核心检测函数，用来处理一个流的数据包，包括以下内容：

static void ndpi_check_my_protocol(struct ndpi_detection_module_struct *ndpi_struct,struct ndpi_flow_struct *flow)
{struct ndpi_packet_struct *packet = &flow->packet;u_int32_t payload_len = packet->payload_packet_len;..........if("Found Protocol") {NDPI_LOG(NDPI_PROTOCOL_MY_PROTOCOL, ndpi_struct,NDPI_LOG_DEBUG, "Found my protocol.\n");ndpi_int_my_protocol_add_connection(ndpi_struct, flow);return;}/*Exclude Protocol*/NDPI_LOG(NDPI_PROTOCOL_MY_PROTOCOL, ndpi_struct, NDPI_LOG_DEBUG,"exclude my protocol.\n");NDPI_ADD_PROTOCOL_TO_BITMASK(flow->excluded_protocol_bitmask,NDPI_PROTOCOL_MY_PROTOCOL);}
}

还有一个特定的函数用来报告关于协议正确的识别信息，如：

static void ndpi_int_my_protocol_add_connection(struct ndpi_detection_module_struct *ndpi_struct,struct ndpi_flow_struct *flow,u_int8_t due_to_correlation)
{ndpi_int_add_connection(ndpi_struct, flow,NDPI_PROTOCOL_MY_PROTOCOL,/*Choose the type of your protocol*/NDPI_CORRELATED_PROTOCOL or NDPI_REAL_PROTOCOL);
}

5.3、添加你的协议到nDPI

协议被创建之后，你必须在下面的头文件中声明你的入口函数：

<nDPI source code directory>/src/include/ndpi_protocols.h

包括如下内容：

/* my protocol entry */
void ndpi_search_my_protocol(struct ndpi_detection_module_struct *ndpi_struct,struct ndpi_flow_struct *flow);

每个协议必须与一个NDPI_SELECTION_BITMASK相关联。NDPI_SELECTION_BITMASK的完整列表被包含在文件：

<nDPI source code directory>/src/include/ndpi_define.h

在为你的协议选择了一个确定的位掩码之后，你必须通知nDPI新协议的存在，通过编辑文件：

<nDPI source code directory>/src/lib/ndpi_main.c

需要将你的协议添加到如下函数中：

void ndpi_set_protocol_detection_bitmask2(struct ndpi_detection_module_struct *ndpi_struct,const NDPI_PROTOCOL_BITMASK * dbm)
.....
.....
.....
#ifdef NDPI_PROTOCOL_MY_PROTOCOL
ndpi_set_bitmask_protocol_detection(ndpi_struct,detection_bitmask,a,NDPI_PROTOCOL_MY_PROTOCOL,ndpi_search_my_protocol,NDPI_SELECTION_BITMASK_MY_PROTOCOL,SAVE_DETECTION_BITMASK_AS_UNKNOW,ADD_TO_DETECTION_BITMASK);
/* Update callback_buffer index */
a++;
#endif
.....
.....
.....
ndpi_struct->callback_buffer_size = a;
NDPI_LOG(NDPI_PROTOCOL_UNKNOWN, ndpi_struct, NDPI_LOG_DEBUG,"callback_buffer_size is %u\n", ndpi_struct->callback_buffer_size);