NOTE

全文大概6500字，阅读需要20分钟。

基于第三代英特尔^® 至强^® 可扩展处理器的中兴通讯高性能5G核心网UPF实现

使用最新的第三代英特尔® 至强® 可扩展处理器和英特尔® 以太网800网络适配器，测试结果显示在某运行商标准话务测试模型下以690字节包长，不带任何额外硬件加速器件的最高整机性能分别可以达到287Gbps和462Gbps。

作者

Li,Yong(INTEL)	Zhang,Jerry(INTEL)
Lou,Fangliang(ZTE)	Ma,Jianwei(INTEL)
Zhang,Yong(ZTE)	Ma,Jiangying(ZTE)
Xu,Yang(ZTE)	Zou,Jinchun(ZTE)
Cheng,Peng(ZTE)	Xu,Zhou(ZTE)
Yao,Chenghu(ZTE)	Zhang,Haoming(ZTE)
Wu,Gauss(INTEL)	_

目录

1.中兴通讯5G核心网解决方案

1.1.中兴通讯5G Common Core介绍

1.2.中兴通讯 5G 融合用户面功能介绍

2.英特尔^® 第三代至强^® 可扩展处理器

3.英特尔^® 以太网800系列网络适配器

4.系统测试环境

4.1.某运行商话务测试模型

4.2.测试仪表(IXIA)

4.3.硬件配置

4.4.软件配置

4.5.网络拓扑

4.6.计算结点BIOS配置

4.7.UPF虚拟机配置

5.性能测试结果

5.1.整机转发性能

5.2.平均转发延迟

5.3.系统总体拥有成本(TCO)分析

6. 总结

7. 缩略语

前言

在持续发展的数字世界中，颠覆性和新兴技术趋势越来越多地影响着世界，这也不断激发了对于灵活计算、网络和存储的需求。数据生成和使用呈指数增长、云规模计算和 5G 网络快速扩张，以及高性能计算 (HPC) 和人工智能 (AI) 向新用途融合，都要求如今的数据中心和网络与时俱进。这些需求正在推动适用于未来的现代化数据中心和网络的架构，使其能够迅速且伸缩自如地发展。

英特尔^® 至强^® 可扩展平台为数据中心敏捷性和可扩展性的飞跃式发展奠定了基础。英特尔^® 第三代至强^® 可扩展处理器采用了颠覆性设计，在计算、存储、内存、网络和安全性方面树立了平台聚合及功能的新标杆。企业、云和通信服务供应商现在可借助功能丰富且高灵活度的平台，加速推进其更强大的数字化方案。

本文阐述了中兴通讯的5G核心网UPF 产品基于英特尔^® 第三代至强® 可扩展处理器（代号“Ice Lake SP”）英特至强金牌6330N处理器和英特尔至强铂金8380处理器以及拥有动态设备个性化技术（DDP）功能的英特尔^® 以太网800系列网络适配器上实现的优异性能。测试结果显示在某运行商标准话务测试模型下以690字节包长，不带任何额外硬件加速器件，最高整机性能在英特尔至强金牌6330N处理器上可以达到287Gbps，在英特尔至强铂金8380处理器上可以达到462Gbps。

本次测试由中兴通讯完成于2021-03-30。具体测试配置参见系统测试环境章节。更多关于性能和测试的完整信息，请访问www.intel.com/benchmarks，并参考http://software.intel.com/en-us/articles/optimization-notice 获得更多关于英特尔软件产品性能和优化选项的信息。

1.中兴通讯5G核心网解决方案

1.1. 中兴通讯5G Common Core介绍

5G发展目标是实现网络连续广域覆盖、热点高容量、低功耗大连接和低时延高可靠，满足eMBB、mMTC、uRLLC 等应用场景下多样化的业务需求。 5G网络将是一个全业务、多技术融合的网络，通过ICT技术的演进和创新，来满足未来包含广泛数据和连接的各种业务的快速发展需要，满足以用户为中心的网络需求。

中兴通讯5G Common Core引入了四个方面的全新架构设计：服务化架构、网络切片、控制/转发分离、无状态设计。

服务化架构：功能组件化，服务/微服务之间相互解耦，每个服务/微服务可独立升级和部署，实现业务快速创新。

网络切片：根据不同网络的需要进行自动化网络切片，满足多样化商业需求。

控制/转发分离：控制面集中部署、转发面分布式部署，实现集中控制，就近转发。有利于避免用户面路由迂回，缩短传输路径满足低时延要求，满足用户面出口按需灵活部署要求。

无状态设计：用户数据独立存储，应用和数据分离。满足高可靠性网络要求。

中兴通讯打造的5G Common Core，不仅为个人消费者带来了升级的5G业务体验，还可以充分满足行业客户的差异化场景需求，为各行各业的数字化转型提供强有力的支持。

对于个人、家庭和一般行业应用场景而言，采用2/3/4/5G 全融合5G核心网(Common Core)和融合边缘计算(Common Edge)解决方案，资源可重用，极大减少网络升级和建设的 投入。基于该方案，对于一般行业应用场景，可以利用切片技术实现按需组网、公网私用，边缘侧则采用MEC一体机，满足网络边缘、用户边缘差异化部署需求。

对于特定的行业应用，特别是高安全可靠保障、网络资源独享等场景，网络切片不能完全满足需求，需要运营商采用5G核心网全下沉方案，可以根据行业需求做功能、组件的增减，支持灵活按需定制，对接复杂度和运维难度更低，适合行业自服务快速建网。

1.2. 中兴通讯5G融合用户面功能介绍

中兴通讯 5G 融合用户面功能包含5G核心网的UPF功能及2/3/4G网络中GGSN SAE-GW的用户面功能。中兴通讯5G 融合用户面功能基于全虚拟化云原生架构，支持依据切片需求进行跨数据中心部署。

自服务基于微服务架构，从蓝图设计、资源调度编排和生命周期管理、应用状态监控、控制策略更新等多个环节实现高度自动化，各个环节之间有效衔接实现闭环反馈机制，可以实现业务的的一键部署安装、全面自治和高效管理。

相对虚拟化，容器技术具备快速弹缩、轻量级、高性能等优势，在IT界发展迅速和广泛应用。云原生应用和底层虚拟化技术实现解耦，可以在容器技术进行部署，实现资源利用率的提升和业务的快速交付、敏捷维护。中兴5G融合核心网支持基于虚机和基于容器两种部署方式。

基于虚机和容器的优化，满足5G核心网部署资源的需求。

基于开源虚拟交换机的性能优化，架构和接口具开放性。

采用多种优化手段提升转发面性能，满足运营商级网络性能需求。

2.英特尔^® 第三代至强^® 可扩展处理器

英特尔^® 第三代至强^® 可扩展处理器（代号“Ice Lake SP”）是基于英特尔10nm工艺最新的服务器芯片，专为数据中心现代化而设计，通过推动运营效率来带动总体拥有成本 (TCO) 的改善和用户工作效率的提升。基于英特尔^®  第三代至强^® 可扩展处理器构建的系统可以提供具有增强性能和突破性功能的敏捷服务。

第三代英特尔^® 至强^® 可扩展处理器根据不同的型号支持8至40个强大不同的频率的处理器核，支持8通道DDR4-3200 MT/s 的DIMM，多达六个英特尔^® UPI 通道提高了平台可扩展性，并改善了 I/O 密集型工作负载的跨socket带宽，从而在提升吞吐量和能量效率之间实现了完美平衡。相比上一代平台，在一系列广泛部署的网络和5G工作负载上可以提供32-97％的性能提升。此外，第三代英特尔^® 至强^® 可扩展处理器针对主流数据中心、多云计算、网络和存储工作负载进行了优化，可以满足苛刻的云工作负载要求，并支持广泛的XaaS环境。

第三代英特尔^® 至强^® 可扩展处理器内置人工智能性能全新升级，bfloat16支持已整合入增强型英特尔^® 深度学习加速技术，可在与现有工作负载相同的硬件上运行复杂的人工智能工作负载。增强的英特尔^® 深度学习加速，具有业界首个对大脑浮点 16 位 (blfoat16) 数字格式和矢量神经网络指令 (VNNI) 的 x86 支持，带来了增强型人工智能推理和训练性能。与上一代产品相比，人工智能训练提升高达 1.93 倍，图像分类性能提升高达 1.87 倍。第三代英特尔^® 至强^® 可扩展处理器有助将整个数据中心的人工智能就绪性向边缘和后端提供。

第三代英特尔^® 至强^® 可扩展处理器增强了硬件安全特性，可以帮助阻止恶意攻击，同时保持工作负载的完整性，并降低性能开销。英特尔^® Software Guard Extensions（英特尔^® SGX），可以在从边缘到数据中心和多租户的使用过程中保护数据和应用程序代码公共云可在不损害隐私的情况下使用共享数据增强协作。英特尔^® Platform^® PFR）基于英特尔^® FPGA 的解决方案，可以保护平台固件、检测损坏并恢复到正常状态。集成的英特尔^® 通信加速技术（英特尔^® QAT）可用于日益增长的压缩和加密工作负载，从而提高效率，同时在服务器、存储和网络基础架构中提供最高达 100 GB/s 的增强型数据传输和保护。

第三英特尔^® 至强^® 可扩展处理器支持的英特尔^® Speed Select Technology（英特尔^® SST）功能可以对处理器性能进行更多更精细的控制，以优化总拥有成本。英特尔^® SST-CP技术可以在一个处理器核子集上保持较高的基本频率，在其余处理器核上保持较低的基本频率。英特尔^® SST-TF可以在一个处理器核子集上保持较高的睿频频率，在其余处理器核上保持较低的睿频频率。使用英特尔^® SST技术，一台服务器可以做得更多。

3.英特尔^® 以太网 800系列网络适配器

英特尔^® 以太网800系列网络适配器是新一代英特尔^® 以太网网络适配器，通过创新性地提高应用效率和网络性能，以优化高性能服务器工作负载。

英特尔^® 以太网800系列网络适配器主机接口支持PCIe Gen4.0和3.0x16，可以支持最大100Gb/s的吞吐量。单端口支持多种速率100/50/25/10/1GbE/100M，并且可以通过EPCT工具直接灵活配置修改。更多可用端口与速度的组合简化了验证和部署，更好地满足用户所需的工作负载需求。

英特尔^® 以太网800系列网络适配器提供更丰富的动态设备个性化（Dynamic Device Personalization，DDP）功能。英特尔^® 以太网800系列网络适配器在驱动程序初始化阶段就加载了一个增强DDP配置文件，以及许多用于特定工作负载的协议，从而获得更高的灵活性。缺省的通用DDP配置文件支持常用的协议，包括TCP/UDP/IP/VLAN/MAC/ETYPE/SCTP/ICMP等，也包括GRE/GENEVE/VXLAN/ARP/MPLS/NVGRE/LLDP等。而为电信领域专设计的Comms DDP配置文件除了支持通用DDP包含的协议之外，还增加了对GTP/PPPoE/IPSEC/L2TPv3/PFCP/MPLS等协议的支持。随着网络新业务的发展，新协议的出现，这些变化都可以通过升级DDP配置文件来更新到英特尔^® 以太网800系列网络适配器的处理流程中，达到减少延时、提高报文处理效率、降低处理器负载的效果。

英特尔^® 以太网800系列网络适配器支持通过远程直接内存访问(RDMA)提高吞吐量和降低延迟。RDMA通过消除TCP/IP堆栈进程、内存拷贝以及应用程序上下文切换等三个主要的网络资源开销，为现代高速以太网提供高吞吐量和低延迟性能。英特尔^® 以太网800系列网络适配器支持所有主流存储传输协议，包括iWARP、RoCE v2和NVMe over TCP等。客户可以根据自己需求灵活选择，也可以组合应用，易于组网和部署。

英特尔^® 以太网800系列网络适配器引入了全新的应用设备队列(ApplicationDevice Queues，ADQ)功能。ADQ使用一种优化应用程序线程到设备数据路径的方法来实现针对特定应用程序的数据控制、传输和速率限制。

这种专用队列和调整网络流量的能力不仅提高了应用性能，还降低了延迟并提升吞吐量。随着现代数据中心的横向扩展，提供弹性并可预测的应用程序级性能成为关键挑战之一。ADQ技术通过为关键负载建立专用队列，大幅减少了性能抖动，显著提高了应用程序的可伸缩性和可预测性。

英特尔^® 以太网800系列网络适配器支持IEEE 1588 PTP v1和v2两个版本，提供纳秒级时间精度，能够准确报告每个数据包的接收时间。这种级别的时间精度有助于确保从5G RAN到金融服务、工业自动化和能源监控等领域网络部署的精确同步。

英特尔^® 以太网800系列网络适配器系列通过保护、检测和恢复三种安全机制以及硬件信任根（Hardware Root of Trust）为平台提供弹性保护。通过这种设计，其内建的故障检测可保护固件和关键设备设置，并进行自动设备恢复以确保设备回到其最初的编程状态。

4.系统测试环境

4.1.某运行商话务测试模型

采用某移动运营商标准话务测试模型，其主要配置选项如下：

用户数[1]	接入用户600000， 流量用户6000
内容计费配置规则（DPI）	七层：40000条， 三四层：10000条
PCC策略	静态：45, 动态：5
流量比例	HTTP:85%  UDP:15%
平均包长[2]	690字节

[1] 接入用户是UPF系统支持的最大用户数，流量用户是测试时实际的用户数

[2] 混合平均报长

4.2.测试仪表(IXIA)

中兴通讯在2021-03-30进行的测试使用了IXIA测试仪 IxNetworks-XGS2模拟5G移动用户通过运营商基站接入时的控制面和数据面业务。

图1. 中兴通讯UPF测试仪表

4.3.硬件配置

服务器采用了中兴自研的5300-G4X，可提供2路CPU，每个socket连接2到3块E810-CQDA2网卡。

SERVER	ZTE 5300G4X
CPU	Intel® Xeon® Gold 6330N Intel® Xeon® Platinum 8380
Number of CPU	2
MEMORY	512G DDR4@2666MHZ
NIC	Intel® E810-CQDA2*4 on 6330N server Intel® E810-CQD2*6 on 8380 server
TOR	ZTE 5960-4M

4.4.软件配置

OS	ZTE CGSL 4.18.0-147.8.1.el8_1.x86_64
OpenStack Platform	ZTE TECS 7.2 (Openstack train)
QEMU	QEMU 4.1.0
UPF VNF	ZXUN-xGW(GUL)V7.20.41
ICE Driver	Driver Version: 1.3.2 Firmware-version: 1.40 0x80003ab8 1.2735.0 DDP Profile:ice_comms-1.3.22.0
DPDK	20.11

4.5.网络拓扑

测试使用了中兴的TECS作为云管理平台，2台中兴 R5300-G4X服务器，一台作为控制节点，另外一台作为计算节点。UPF部署在计算节点上，UPF网元通过5960-4M交换机连接IXIA测试仪。

采用英特尔至强金牌 6330N处理器的服务器和英特尔至强铂金8380处理器的服务器的测试拓扑请分别参考图2和图3。

图2. 英特尔^® 至强^® 黄金

6330N处理器服务器的测试拓扑

图3. 英特尔^® 至强^® 铂金

8380处理器服务器的测试拓扑

4.6.计算结点BIOS配置

计算结点服务器上BIOS配置如下:

4.7.UPF虚拟机配置

英特尔至强金牌6330N处理器服务器每个socket上部署了1个OMU虚拟机和2个PFU虚拟机。OMU占用4个vCPU, 每个PFU占用24个vCPU（16个vCPU运行worker转发线程）。

图4. 中兴通讯UPF在英特尔^® 至强^®

金牌6330N虚机部署图

英特尔至强铂金8380处理器服务器每个socket上部署了1个OMU虚拟机和3个PFU虚拟机。OMU占用4个vCPU, 每个PFU占用24个vCPU（16个vCPU运行worker转发线程）。

图5. 中兴通讯UPF在英特尔^® 至强^®

铂金8380虚机部署图

5.性能测试结果

5.1.整机转发性能

性能测试分别验证了UPF基本转发能力以及带计费和DPI业务处理的转发能力。测试结果如下：

1)基于英特尔至强金牌6330N处理器的整机基本转发性能:

a)不使能离线计费和DPI等业务处理能力达到287Gbps(51.3MPPS), WORKER线程平均CPU利用率84%。

b)使能离线计费和DPI等业务处理能力达到177Gbps(31.6MPPS), WORKER线程平均CPU利用率85%。

图6. 中兴UPF在英特尔^® 至强^® 

金牌6330N处理器上的性能结果

2)基于英特尔至强铂金8380处理器的整机基本转发性能：

a)不使能离线计费和DPI等业务处理能力达到462Gbps(81.4MPPS)，WORKER线程平均CPU利用率83%。

b)使能离线计费和DPI等业务处理能力达到280Gbps(49.4MPPS)，WORKER线程平均CPU利用率84%。

图7. 中兴通讯UPF在英特尔^® 至强^® 

铂金8380处理器上的性能结果

3)相比英特尔至强金牌6230N和至强铂金8280处理器，基于第三代英特尔至强金牌6330N和至强铂金8380处理器的UPF转发性能有了大幅提升。

图8. 中兴通讯基于6230N和

6330N处理器的UPF性能比较

图9. 中兴通讯基于8280和

8380处理器的UPF性能比较

注：更多关于性能和测试的完整信息，请访问www.intel.com/benchmarks，并参考http://software.intel.com/en-us/articles/optimization-notice 获得更多关于英特尔软件产品性能和优化选项的信息。

5.2.平均转发延迟

应用DDP加速技术后报文不需要通过软件进行核间分发，可以极大地减少转发延迟。测试结果显示，UDP报文平均转发延迟从150us下降到了74us。

图10. 中兴通讯 UPF UDP 报文平均转发延迟

5.3.系统总体拥有成本(TCO)分析

在同等下处理能力要求下，基于英特尔至强金牌6330N 处理器和英特尔至强铂金8380处理器以及英特尔^® 以太网800系列网络适配器的UPF方案相比基于上一代处理器的UPF方案在系统总体成本上更具优势。而且随着时间的推移，UPF方案的系统总体拥有成本优势会越来越明显。

图11. 设备成本和十年电费支出

此外，根据运营商对单个UPF网元的性能要求，需要考虑到设备数量向上取整的问题。下表列出了在不同的单个UPF网元性能要求下需要的服务器数量（不含N+1冗余及控制节点等）。可以看到，基于第三代英特尔® 至强® 可扩展处理器和英特尔® 以太网800系列网络适配器提升系统整体性能后，相同网元性能要求下减少了所需服务器的数量，这同样表明UPF方案的系统总体拥有成本得到了优化。

网元容量(Gbps)／ 单机容量(Gbps)	200	300	400
132(6230N)	2台	3台	4台
177(6330N)	2台	2台	3台
280(8380)	1台	2台	2台

6.总结

中兴通讯基于英特尔平台加速技术的NFV UPF解决方案在英特尔^® 第三代至强^® 可扩展处理器英特尔至强金牌6330N处理器和英特尔至强铂金8380处理器上针对运营商真实话务测试模型都实现了超过200Gbps转发能力，达到了业界领先的性能，完全能够满足运营商实际5G UPF布署的需求。在提升性能的同时，极大地降低了系统转发延迟，满足5G业务场景下端到端低延迟的要求 。

这也表明，不使用任何额外的硬件加速器件，利用最新的英特尔通用处理器，低成本低功耗的英特尔800系列标准网络适配器和数据面开发套件（DPDK）等相关技术，能够充分发挥英特尔x86平台的强大性能优势， 提升虚拟化网元（VNF）的处理能力，有助于电信运营商和设备厂商在网络功能虚拟化场景下的性能诉求。

7. 缩略语

eNB	eNodeB
FDIR	Fault Detection, Isolation, and Recovery
GPRS	General Packet Radio Service
GTP	GPRC Tunneling Protocol
IMIX	Internet Mix
IP	Internet Protocol
L2TP	Layer Two Tunneling Protocol
OEMs	Original Equipment Manufacturers
OMU	Operations Manager (Unix)
PDN	Packet Data Network
PFU	Packet Forwarding Unit
PPPOE	Point-to-Point Protocol Over Ethernet
RSS	Receive Side Scaling
SR-IOV	Single Root I/O Virtualization
TCP	Transmission Control Protocol
UE	User Equipment

Legal Disclaimers

性能测试中使用的软件和工作负载可能仅可基于英特尔® 微处理器进行性能优化。

性能测试（如 SYSmark* 和 MobileMark*）使用特定计算机系统、组件、软件、操作和功能进行测量。对这些因素的任何更改可能导致不同的结果。您应该查询其他信息和性能测试以帮助您对正在考虑的采购作出全面的评估，包括该产品在与其他产品结合使用时的性能。如欲了解更多信息，请访问 www.intel.cn/benchmarks。

性能测试结果基于2019-12-20进行的测试，并且可能没有反映所有已公开的有效安全更新。参见配置相关章节获取详细信息。没有产品或组件是绝对安全的。

关于性能和基准测试程序结果的更多信息，请访问www.intel.com/benchmarks。

优化声明：英特尔编译器针对英特尔微处理器的优化程度可能与针对非英特尔微处理器的优化程度不同。这些优化包括 SSE2、SSE3 和 SSSE3 指令集和其他优化。对于非英特尔微处理器上的任何优化是否存在、其功能或效力，英特尔不做任何保证。本产品中取决于微处理器的优化是针对英特尔微处理器。不具体针对英特尔微架构的特定优化为英特尔微处理器保留。请参考适用的产品用户与参考指南，获取有关本声明中具体指令集的更多信息。

声明版本：#20110804

英特尔技术特性和优势取决于系统配置，并可能需要支持的硬件、软件或服务得以激活。产品性能会基于系统配置有所变化。没有计算机系统是绝对安全的。更多信息，请见intel.com，或从原始设备制造商或零售商处获得更多信息。

Intel, Intel徽标和其他Intel标示是英特尔公司或其子公司的商标。

其它名称及商标属于各自所有者资产。

© Intel Corporation

转载须知

DPDK与SPDK开源社区

公众号文章转载声明

推荐阅读

DPDK Release 21.05

点点“赞”和“在看”，给我充点儿电吧~