方案一览

利用AI技术释放网络应用创新

结合英特尔^® 至强^® 可扩展处理器添加的新指令和高性能软件框架，实现了网络工作负载的实时AI能力

方案概要

英特尔在AI领域推动芯片和软件技术的进步，降低了网络应用开发者进入AI新领域的技术门槛，从而释放了开发者在商业化产品中部署AI高级技术的创新力，充分实现网络应用创新。在英特尔^® 至强^® 可扩展处理器中添加新指令，提升AI推理性能，同时利用业界标准框架和网络专用加速库（例如TADK）等软件，为网络应用场景引入AI实时处理能力奠定了基础。

得益于英特尔^® 至强^® CPU使用的新加速指令，AI创新无需专门硬件支持（例如GPU、神经处理单元）即可用于数据中心和边缘等网络设备。本指南将首先介绍解决方案使用的技术，随后详细阐述目标应用场景的性能优劣。

该文章源自Network Transformation Experience Kit，具体内容请访问https://networkbuilders.intel.com/network-technologies/network-transformation-exp-kits。(原文标题：AI Technologies – Unleash AI Innovation in Network Applications Solution Brief )

方案介绍

AI算法正在逐步取代固定规则、指纹来检测网络流量中的已知模式（如攻击或威胁）。

最近，SolarStorm攻击（https://unit42.paloaltonetworks.com/solarstorm-supply-chain-attack-timeline/）等复杂恶意网络程序频发，亟需更高级的检测方法对其进行识别。传统方法在检测恶意软件产生的未知类型网络流量时仍存在缺陷，因此需要优化检测技术，不能只针对静态规则做检测，还需包括丰富的流量特征。

业界也在网络分析方法中引入了AI技术，如使用机器学习和深度学习模型。以下是部分应用场景：

• 流分析：用于识别网络异常情况，分析加密网络流量，并对应用程序进行分析。

• 基于用户意图的流量分析：根据用户凭证来分析主机用户行为和网络事件的算法和框架。可以用这种方法检测用户关系，识别异常，并进行安全实证评估。

• 网页访问分类：预测用户访问的网页类别（成人内容、游戏、新闻等）。

• 流量异常检测：使用统计方法、相似性方法和模式挖掘方法检测流异常。

• 恶意软件检测：检测便携式可执行文件、JavaScript中的恶意内容，或检测Command and Control（C2）恶意软件网络攻击。该方法在Palo Alto Networks Unit 42发布的文章中也有所阐述：《利用AI检测恶意C2流量》（文章网址：https://unit42.paloaltonetworks.com/c2-traffic/）。

方案说明

AI技术在网络业的不断创新和应用，为传统的物理设备以及云上应用都提供了许多新的解决方案。据分析人员预测，到2025年，人工智能在企业SD-WAN部署的使用将从2021年的5%增加到40%。（参考文献：https://www.sdxcentral.com/articles/news/sase-ai-fuel-sd-wan-winners/2021/09/?utm_source=sendgrid&utm_medium=email&utm_campaign=website）

英特尔在英特尔^® 至强^® 可扩展处理器中添加了AI加速技术，以此降低计算成本。英特尔的首个AI加速技术——英特尔^® Deep Learning Boost（Intel® DL Boost）采用了矢量神经网络指令（VNNI），并首次在第二代英特尔^® 至强^® 可扩展处理器中使用。VNNI是一种专用指令集，以前需要三条单独的指令，现在使用一条指令就可以进行深度学习计算。即将推出的Sapphire Rapids CPU包括英特尔^® 高级矩阵扩展（Intel® AMX）指令、新的扩展二维寄存器文件和新的矩阵乘法指令，可以提高深度学习工作负载的性能。（有关工作负载和配置的信息，可访问https://edc.intel.com/content/www/us/en/products/performance/benchmarks/overview/）

图一 添加了AI加速的英特尔® 至强® 可扩展处理器CPU

为了利用VNNI指令，英特尔更新了主流AI框架，包括TensorFlow*、PyTorch*、MXNet*、PaddlePaddle*和Caffe*。

此外，英特尔打包了一套网络应用工具和库组件。TADK【点击蓝字，阅读往期文章】是在网络工作负载中（包括设备安全、云网络（SD-WAN）、下一代防火墙和Web应用程序防火墙）引入实时AI的实践起点。

本方案指南首先介绍了可用于创新网络安全解决方案的AI技术，随后通过Web应用防火墙和下一代防火墙两个案例分析性能开销。根据本文结论，利用AI技术减少了计算成本，同时也降低了Web应用防火墙的漏报率和误报率。本文还着重描述了如何在英特尔^® 至强^® 可扩展处理器上高效运行TensorFlow或TensorFlow Lite AI模型。

技术实现

下图展示了实现网络解决方案高级AI技术的关键技术，包括专用于AI加速的CPU指令、已优化的AI业界主流框架和库，以及开发者工具和库。

图2 支持高级AI技术的关键技术

CPU指令

• 英特尔^® Deep Learning Boost（Intel^® DL Boost）：是第二代英特尔^® 至强^® 可扩展处理器中引入的一组加速功能，为使用主流深度学习框架（如PyTorch、TensorFlow、MXNet、PaddlePaddle和Caffe）所构建的应用程序在推理时带来显著的性能提升。该技术使用VNNI进行深度学习，可以将三个指令减少为一个指令。

• 英特尔^® 高级矩阵扩展（Intel^® AMX）指令：是Sapphire Rapids CPU新的扩展二维寄存器文件和新矩阵乘法指令的一个硬件模块，可提高多种深度学习工作负载的性能。

• 英特尔^® 高级矢量扩展512（Intel^® AVX-512）：使用512位指令集能够提高包括AI推理在内的软件性能，更高效地处理复杂应用场景。（有关工作负载和配置的信息，可访问https://edc.intel.com/content/www/us/en/products/performance/benchmarks/overview/）

业界主流AI框架优化

• 英特尔^® oneAPI Data Analytics Library（oneDAL）：该库涵盖了批量、实时和分布式处理的计算模式下进行数据分析的所有阶段（包括预处理、转换、分析、建模、验证和决策），通过提供高度优化的算法编译模块，加速大数据分析。

• 英特尔® oneAPI Deep Neural Network Library（oneDNN）：是用于深度学习应用的开源跨平台性能库。该库针对英特尔架构处理器、英特尔图形处理器和基于Xe 架构的图形处理器进行了优化。

• 英特尔^® Neural Compressor：英特尔^® Neural Compressor（曾用名为英特尔® 低精度优化工具）是一个开源Python*库，可在英特尔^® CPU和GPU上运行，为常用模型压缩技术（如量化、剪枝和知识蒸馏）的多个深度学习框架提供统一接口。支持基于精度的自动调整策略，帮助用户快速找出最佳量化模型。Neural Compressor实现了不同的权重剪枝算法，生成剪枝模型支持预定义稀疏度目标。该库可用于TensorFlow、PyTorch、MXNet和ONNX*（开放神经网络交换）运行期等常用的深度学习框架。

• 英特尔^® Math Kernel Library（Intel^® MKL）：该库能够加速数学处理例程，并针对英特尔硬件进行了优化，以充分执行指令。该库与大量编译器、语言、操作系统、链接和线程模型兼容。

• 英特尔^® Distribution for Python*：加速AI相关Python库，如NumPy、SciPy和scikit-learn*，具备集成英特尔^® 性能库，例如可增强AI推理性能的Intel MKL。

• 业界常用框架优化：英特尔优化了谷歌*的TensorFlow框架，Apache的MXNet框架，百度*的PaddlePaddle飞桨，并优化了Caffe和PyTorch框架，提升了在数据中心使用英特尔^® 至强^® 可扩展处理器进行软件优化的深度学习性能。英特尔持续和其他行业龙头合作，为其添加框架支持。

• 英特尔^® TensorFlow*优化：使用英特尔^® oneAPI Deep Neural Network Library优化了TensorFlow 二进制分布。TensorFlow 是深度学习领域广泛使用的机器学习框架，能够有效利用计算资源。通过oneDNN优化TensorFlow框架，充分利用了英特尔^® 架构，实现了性能最大化。

• TensorFlow Lite的XNNPACK后端：XNNPACK实现了高度优化的浮点神经网络运算符，这些运算符编译于CPU的SSE2、SSE4、Intel^® AVX、Intel^® AVX2和Intel^® AVX-512指令集。

•  Hyperscan：英特尔创建了开源模式匹配框架Hyperscan，高度优化了模式匹配的性能。Hyperscan利用CPU指令（如英特尔AVX-512），提供网络和云安全（如Web应用防火墙）所需的高速模式匹配功能。

网络专用的开发工具和库

• TADK：是一组高性能的流量分析开发套件，提供了在网络应用中部署端到端AI流水线的关键组件。同时支持对诸如NGINX, FD.io VPP, ModSecurity等开源软件的集成，并包含基于AI的流量分类和Web应用防火墙等应用场景的支持。

• 流特征提取库（FFEL）：是一个高性能的可配置和可扩展的库，配置后可获取网络流中的元数据和统计信息，包括：

o数据包特征：包括数据包长度、数据包直方图、IP数据包的长度序列和到达时间，可配置的数据包数量上限。

o协议特征：包括协议的关键字段，如TLS、SNI、DNS、HTTP头和 URI。

o词袋（BOW）特征：对数据包中的字符串字段进行分词编码。

• 词法分析器：基于确定有限状态自动机（DFA）的分词器和分词编码器。

oDFA编译器通过配置文件/字典来生成运行时的DFA引擎。

o目前支持SQL、HTML5和Java Script分词器。

• 流分类器：

o基于5元组的双向流分类。

o基于时间轮的流老化机制。

• 协议检测：协议解析器（libproto_proc.so）可以检测和解析协议，包括：IPv4、UDP、TCP、HTTP、TLS、QUIC和DNS。

• AI引擎：英特尔oneAPI Data Analytics Library（oneDAL）是一个强大的机器学习库，有助于加速大数据分析。TADK封装了oneDAL库，并使用随机森林算法来实现AI/ML分类器。

• DPI引擎：DPI引擎可以从TLS流获取SNI字段和证书字段，利用Hyperscan对相关规则集进行匹配，来识别AppID。

应用场景案例#1：Web应用防火墙

第一个案例我们选择了典型应用场景——一个开源的Web应用防火墙（WAF）：ModSecurity，能过滤和监控Web应用程序和Internet或反向代理之间的HTTP流量来保护web应用程序。

通过分析支持检测常见SQL注入攻击和XSS攻击（Cross-Site-Scripting）的组件，我们发现，ModSecurity能在Libinjection模块中使用指纹和词汇分析的传统逻辑方法来检测这些攻击。SecRule定义的两个操作符——detectSQLi（ModSecurity 2.7.4及以后版本）和detectXSS（ModSecurity 2.8.0及以后版本）——可以由Libinjection模块支持。

如图3所示，我们用已经过训练的机器学习模型取代了Libinjection库。测试结果发现，基于AI的方法减少了计算成本，同时也减少了误报率和漏报率，提高了准确性。TADK的词法分析器利用DFA引擎完成高效的分词和编码，DFA引擎的输出会传到随机森林ML模型，进行推理，高效的分词和推理过程节省了前端计算周期和整体检测时间。通过sqlmap和XSStrike产生的样本数据训练随机森林模型。最后在AI引擎中执行随机森林算法，利用oneDAL Data Analytics Library预测是否会产生攻击。

请与您当地的Intel销售代表联系，获取更多技术资料和修改后的ModSecurity软件副本。

图3 在ModSecurity中引入AI机器学习

应用场景案例#2：下一代防火墙

在第二个应用场景中，我们利用人工智能深度学习模型来检测恶意JavaScript代码，这些恶意代码通常存在于网络钓鱼工具包、恶意广告库或点击劫持中，传统的签名或哈希匹配方法无法检测未知的恶意软件。

图4展示了利用AI技术检测恶意JavaScript的典型流水线。

图4 利用AI技术检测恶意JavaScript

与Web应用防火墙类似，我们在前端应用TADK词法分析器，将字符串解析为字符和分词，成本降到最小后，将数据馈送到深度神经网络模型。利用英特尔^® Neural Compressor（TensorFlow 2.6或更高版本），将FP32模型转换为INT8量化模型，同时保留预测精度。训练过程中，我们启用了oneDNN（TensorFlow 2.5或更高版本）和XNNPACK后端，在英特尔^® 至强^® 可扩展处理器上高效运行了基于TensorFlow Lite的模型。

高效的DFA引擎能够节省前端计算周期，同时使用oneDNN，将AI推理的计算周期减到最小，实现了在有限计算资源内添加基于AI的实时检测能力。

方案总结

以英特尔^® 至强^® 可扩展处理器为硬件支持，利用业界标准框架和TADK等软件实现，英特尔持续投入新技术演进。英特尔已蓄势待发，准备在网络领域实现全面AI创新。

本方案指南以英特尔^® 至强^® 可扩展处理器为基础，在总体成本内创造解决方案，创新了关键技术，发挥关键效用，实现了实时AI推理。

我们十分欢迎且支持各位合作伙伴以上述两个应用场景为起点或借鉴，利用英特尔^® 至强^® 可扩展处理器运行上述软件库或框架，开启AI创新之旅，降低AI创新成本。

转载须知

DPDK与SPDK开源社区

公众号文章转载声明

推荐阅读

Hyperscan 5.5.0发布啦！

SPDK Trace Log用法简介

Intel 助力移动云百万 IOPS 云硬盘，打造极速云存储体验

深入浅出Hyperscan出版啦！

点点“赞”和“在看”，给我充点儿电吧~