网络流量识别技术之初级入门篇

提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

网络流量识别技术之初级入门篇
前言
一、网络流量识别技术是什么？
二、常用识别技术分类
- 1.网络五元组的流量识别
- - 1）技术背景
  - 2）优缺点
  - 3）示例
- 2.有效负载的流量识别
- - 1）技术背景
  - 2）优缺点
  - 3）实现方式
- 3.行为特征的流量识别
- - 1）技术背景
  - 2）优缺点
  - 3）示例
- 4.基于机器学习的流量识别技术
- - 1）技术背景
  - 2）优缺点
总结

前言

提示：这里可以添加本文要记录的大概内容：

随着网络技术和通讯工具的不断发展和演变，流量识别这门技术在网络安全领域也越来越重要，基于对以往知识的归纳和总结，本文就网络流量识别技术介绍了自己关于流量识别技术的基础内容，仅供大家学习参考。

提示：以下是本篇文章正文内容，下面案例可供参考

一、网络流量识别技术是什么？

1）网络流量定义
互联网通信标准文件RFC3917中的有关定义：一条网络流量是指在一段特定的时间间隔之内，通过网络中某一个观测点的所有具有相同五元组(源IP地址、目的IP地址、传输层协议、源端口和口的端口)的分组的集合。此外，根据TCP和UDP传输的双端特性，网络流也可以分为单向流（C2S/S2C）和双向流（C2S & S2C）。基于不同的研究目的，研究者可以选择按照单向流或者双向流的定义进行网络流量相关的研究。
2）网络流量识别定义
利用某种算法构造一个分类模型，并用该分类模型对收集到的各种网络工具的网络流数据进行识别分析，识别分析的结果是某种应用程序或网络工具。

二、常用识别技术分类

1.网络五元组的流量识别

1）技术背景

通过检查网络数据包的源端口号、目的端口号、源IP地址、目标IP地址及协议类型，根据相应网络协议或网络工具在通信时使用的默认端口号规则并与之映射，进而识别不同的网络应用或工具。

2）优缺点

存在明显的局限性。
1）网络端口号与应用之间不可能总是一一对应的，一般只能识别默认端口的；
2）仅通过原宿端口识别的准确率和可靠性有限，且只能识别基于TCP/UDP通信的网络应用或工具。
3）基于服务端IP规则的应用或工具识别短时间内准确可靠；

3）示例

20, 21 ftp 文件传输协议（FTP）端口；有时被文件服务协议（FSP）使用
22 ssh 安全 Shell（SSH）服务
23 telnet Telnet 服务
25 smtp 简单邮件传输协议（SMTP）
53 domain 域名服务（如 BIND）
80 http 用于万维网（WWW）服务的超文本传输协议（HTTP）
110 pop3 邮局协议版本3
143 imap 互联网消息存取协议（IMAP）
443 https 安全超文本传输协议（HTTP）
1812 radius Radius 拨号验证和记帐服务
1813 radius-acct Radius 记帐

参考网站：https://tool.oschina.net/commons?type=7

2.有效负载的流量识别

1）技术背景

通过分析网络数据包的有效载荷是否与特征识别库相匹配来确定网络应用或工具（固定位置字节码或浮动字节码等）。该方法需预先建立网络流量的应用层特征识别规则库或通过抓包分析，并通过有效载荷中的关键控制信息或解密解码后的数据来验证其是否匹配规则库中的某一特征识别规则，进而确定该网络流量类型，在使用该方法时，网络流量识别的过程也可被认为是流量分析验证的过程。

2）优缺点

1）规则库中需要存储的流量识别、且特征规则也快速膨胀，系统的处理和存储要求较高；
2）规则库需要人工持续分析收集更新；
3）存在一定的误中情况，尤其流量HTTPS加密时，仅做DNS或HTTPS域名识别时；
4）第三方的SDK接口调用需要依赖于第三方知识库；
5）某些识别需要对有效负载进行流量解密或解码，且可能涉及到用户隐私纠纷和数据安全泄密问题；

3）实现方式

1）固定特征码识别

2）浮动特征码识别（譬如域名识别）

3.行为特征的流量识别

1）技术背景

基于行为特征的流量分类识别方法，利用不同的网络应用具有不同的通信行为模式的原理，从流量特征的宏观角度对网络流量进行分类识别。
该方法通过分析不同的网络应用在主机连接，网络协议使用和网络流中数据包的平均大小等传输连接模式上的宏观行为差异来解决流量分类问题，例如，FTP 协议主要用于大文件的传输服务，而 P2P（peer to peer）传输基于网络对等互连技术实现信息与服务的共享，协作与管理，因此，从流量行为特征集上看，FTP 应用产生的网络数据包平均长度更大，连接持续时间更长，P2P 应用产生的数据流量通常是持续的双向数据传输，而 FTP 应用所带来的网络流量其传输方向主要是单向的。

2）优缺点

1）系统时空开销较大，识别实时性较差，近年来的相关研究进展有限；
2）对数据的要求高，应用场景比较有限；
3）由于P2P应用具有普遍适用的流量特征，新的应用也符合这一特征，所以这种技术有发现新的应用的能力；
4）由于对称路由和丢包、重传现象的存在，导致无法精确确定流量特征，从而有可能对流量检测的精确度造成影响；
5）很多流量特征都不是流量唯一的，其他应用也有可能表现出这种流量特征，需要结合其他一些技术如端口检测来排除其他应用。

3）示例

基于P2P应用的行为识分类：
1）基于IP地址的P2P识别
2）基于端口的P2P识别
3）基于会话的识别
4）基于URL的过滤方法
5）基于流统计特性的识别
6）基于传输层行为特征的识别
7）基于深度数据包扫描的识别
8）基于DNS查询日志的P2P节点检测

4.基于机器学习的流量识别技术

1）技术背景

大致可分为有监督学习的流量分类识别、无监督学习的流量分类识别和半监督学习的流量识别

2）优缺点

1）精准度不够。相比于一般的分类，在互联网流量巨大情况下（常见的流量占据较大部分），故而仅从构成角度看，常规流量类型容易识别，但封装的、非标准的、误用的或异常的流量识别会比较困难。
2）流量的特征行为属性集进行训练和测试的过程中，选择哪些特征属性以及怎样使用有待实践，且识别准确率的概率变化与特征值的关系不明确。
3）实时性较为有限。就目前而言，系统的性能和操作的可行性无法满足实际需要。
4）无法快速发现和正确识别一些关键性的流量，譬如入侵和网络异常。入侵检测系统在理想状态下，要求漏报率 FN（False-Negative）为零，并低延迟地鉴定出恶意入侵流量。
5）数据完整性的问题。以一些应用程序，如 Web 浏览器，电子邮件，FTP，多媒体应用作为分类对象，不能充分代表整个互联网。

总结

以上就是今天要讲的内容，本文仅仅简单介绍了网络流量识别技术的概念、技术分实现分类及其优缺点，内容仅供学习、研究使用，无任何商业目的。