原标题：DPDK性能影响因素之绑核原理

背景

DPDK的本质任务就是提升服务器对网络包的处理能力。在性能的提升上，有很多要素，诸如轮询，用户态驱动，亲和性与独占，降低访存开销，软件调优，利用IA新硬件技术。本篇主要介绍一下亲和性与独占在提升性能上的工作原理。

亲和性介绍

DPDK工作在用户态，线程的调度仍然依赖内核。利用线程的CPU的亲和绑定方式，特定任务可以被指定只在某个核上工作。因此减少了线程间不同核间频繁切换，核间线程切换容易导致因cache miss和cache write back造成的大量性能损失。如果更进一步的限定某些核不参与linux系统调度，就可能使线程独占该核，保证更多cache hit的同时，也避免了同一个核内的多任务切换开销。

DPDK运用到的物理核，逻辑核及超线程的概念介绍

单核结构，CPU物理核中的基本组件可以简化为：CPU寄存器集合，中断逻辑，执行单元和Cache。一个完整的物理核需要拥有这样的整套资源，提供一个指令执行线程。

多处理器结构指的是多颗单独封装的CPU通过外部总线连接，构成的统一计算平台，如图2所示。

每个CPU都需要独立的电路支持，有自己的Cache，而它们之间的通信通过主板上的总线。在此架构上，若一个多线程的程序运行在不同的CPU的某个核上，跨CPU的线程间协作都要走总线，而共享的数据还会付出因Cache一致性产生的开销。从内存子系统的角度，多核处理器结构进一步衍生出了非一致性内存访问(NUMA)，跨NUMA的内存访问是性能调优时最需要避免的。因此在实际的DPDK绑核中，DPDK的各进程都是绑定在同一个NUMA节点上。

超线程(Hyper-Threading)在一个处理器中提供两个逻辑执行线程，逻辑线程共享流水线、执行单元和缓存。该技术的本质是复用单处理器中的超标量流水线的多路执行单元，降低多路执行单元中因指令依赖造成的执行单元闲置。对于每个逻辑线程，拥有完整独立的寄存器集合和本地中断逻辑，从软件的角度，与单线程物理核并没有差异。例如8核心的处理器使用超线程技术之后，可以得到16个逻辑线程。采用超线程，在单核上可以同时进行多线程处理，使整体性能得到一定程度的提升。但由于毕竟是共享执行单元，对IPC越高的应用，单来的帮助越有限。DPDK是一种I/O集中的负载，对于之类负载，IPC相对不是特别高所以超线程技术会有一定程度的帮助。超线程结构图如图3所示

如果说超线程还是站在一个核内部以资源切分的方式构成多个执行线程，多核体系结构则是在一个CPU封装里放入多个对等的物理核，每个物理核可以独立构成一个执行线程，单干也可以进一步分割成多个执行线程(采用超线程技术)。多核之间的通信使用芯片内部总线来完成，共享更低一级缓存(LLC,三级缓存)和内存。随和CPU制造工艺的提升，每个CPU封装中放入的物理核数也在不断提高。如图4

结合我们实际的操作系统，查看 numa ,core 和HT信息

[root@host-10-43-211-14 s(keystone_admin)]# ./cpu_layout.py

============================================================

Core and Socket Information (as reported by '/proc/cpuinfo')

============================================================

cores = [0, 1, 2, 3, 4, 5] CPU核数

sockets = [0, 1] socket就是主板上插cpu的槽的数目，也即管理员说的”路“

Socket 0 Socket 1 该服务器socket1上没有core，若有的话我们可以看到和socket0一样的分布。

--------- ---------

Core 0 [0] [6] core0 上实现为两个HT

Core 1 [1] [7]

Core 2 [2] [8]

Core 3 [3] [9]

Core 4 [4] [10]

Core 5 [5] [11]

因此我们DVS在绑核的时候，要把DVS的进程都绑定在同一个numa节点上的HT上。并且进行核隔离，防止系统调用该HT。一般 core0 是给linux 操作系统调用的，因此避免把DVS绑在 core0 上的两个HT上。

DVS的绑核方法和核隔离方法

核隔离

修改 /etc/grubtool.cfg 配置文件

再执行命令 grub2-mkconfig -o /boot/grub2/grub.cfg

再重启服务器。

DVS绑核

若DVS已经安装完毕，可以直接修改 /opt/network/ovdk/etc

下的ovdk.conf配 置文件里的参数

# The option provide the physnics which ovdk uses, ovdk will

# bind it/them from kernal driver to user space driver,and then

# we will not find it/them through ifconfgi command.

# such as from ixgbe to igb_uio.

# Example: ovdk_port=eth0, eth1

ovdk_port = ens4f0

# The option provide vcpu which is used for thread to guard physnic port.

# Example: physical_port_vcpu=cpu2,cpu3

physical_port_vcpu = cpu2 DPDK物理口收发线程绑定的HT

# The option provide vcpu which is used for thread to guard virtual port,

# such as vhost port. Example: virtual_port_vcpu=cpu4,cpu5

virtual_port_vcpu = cpu3 DPDK虚拟口收发

# The option provide vcpu which is used for thread to guard vswitchd,

# This option must have two value, the first one is used for guarding

# vswitchd thread in process of datapath, and the last one is used for

# guarding vswitchd process. Example: vswitchd_vcpu=cpu1,cpu6

vswitchd_vcpu = cpu1, cpu4 控制面进程绑定的HT

DVS默认的绑核方式为PVPVCC。即一个物理口收发线程和一个虚拟口收发线程在一个core上的两个HT上。两个控制面进程在同一个core 的两个HT上。

DPDK的多线程介绍

DPDK的线程基于pthread接口创建，属于抢占式线程模型，受内核调度支配。DPDK通过在多核设备上创建多个线程，每个线程绑定到单独的核上，减少线程调度的开销，以提高性能。

说完了如何来那个DPDK达到最大性能的绑核方式，附带说说如果网络吞入量比较小，不能耗尽哪怕一个核的计算能力，如何释放计算资源给其他任务呢？

使用cgroup能够把CPU的配额灵活的配置在不同的线程上。Cgroup是control group的缩写，是linux内核提供的一种可以限制、记录、隔离进程组所使用的物理资源(如：CPU、内存、I/O等)的机制。DPDK可以借助cgroup实现计算资源配额对于线程的灵活配置，可以有效的改善I/O核的闲置利用率。

责任编辑：