linux NUMA技术

1. 概述

NUMA（Non-Uniform Memory Access Architecture）即非一致性内存访问技术。 NUMA系统有多个Node通过高速互连的网络联系起来的系统。而Node则是由一组cpu 和本地内存组成。不同的Node有不同的物理内存，由于Node访问本地内存和访问其它节点的内存的速度是不一致的，为了解决非一致性访问内存对性能的影响，有一些工具可以使用。包括 numactl，autonuma， HPE-AIX等。

2. Node/zone/page之间的关系

注1： linux用 pg_data_t结构来描述一个Node。一个Node的内存由多个 zone组成。zone的类型主要有ZONE_DMA、ZONE_NORMAL和ZONE_HIGHMEM。ZONE_DMA位于低端的内存空间，用于某些旧的ISA设备。ZONE_NORMAL的内存直接映射到Linux内核线性地址空间的高端部分，许多内核操作只能在ZONE_NORMAL中进行。例如，在X86中，zone的物理地址如下：

类型	地址范围
ZONE_DMA	前16MB内存
ZONE_NORMAL	16MB - 896MB
ZONE_HIGHMEM	896 MB以上

Zone是用struct zone_t描述的，它跟踪页框使用、空闲区域和锁等信息

域	说明
Lock	旋转锁，用于保护该zone
free_pages	该zone空闲页总数
pages_min, pages_low, pages_high	Zone的阈值
need_balance	该标志告诉kswapd需要对该zone的页进行交换
Free_area	空闲区域的位图，用于buddy分配器
wait_table	等待释放该页进程的队列散列表，这对wait_on_page()和unlock_page()是非常重要的。当进程都在一条队列上等待时，将引起进程的抖动
zone_mem_map	全局mem_map中该zone所引用的第一页
zone_start_paddr	含义与node_start_paddr类似
zone_start_mapnr	含义与node_start_mapnr类似
Name	该zone的名字。如，“DMA”，“Normal”或“HighMem”
Size	Zone的大小，以页为单位

3. NUMA 相关信息查看工具

1）查看是否支持NUMA

# dmesg | grep -i NUMA
[ 0.000000] NUMA: Initialized distance table, cnt=2
[ 0.000000] NUMA: Node 0 [mem 0x00000000-0x7fffffff] + [mem 0x100000000-0x107fffffff] -> [mem 0x00000000-0x107fffffff]
[ 0.000000] Enabling automatic NUMA balancing. Configure with numa_balancing= or the kernel.numa_balancing sysctl
[ 1.082448] pci_bus 0000:00: on NUMA node 0
[ 1.084608] pci_bus 0000:7f: on NUMA node 0
[ 1.085942] pci_bus 0000:80: on NUMA node 1
[ 1.088235] pci_bus 0000:ff: on NUMA node 1

2）查看numa的状态 numastat

# numastat
node0 node1
numa_hit 15911737 17595326 # numa_hit是打算在该节点上分配内存，最后从这个节点分配的次数;
numa_miss 0 0 # num_miss是打算在该节点分配内存，最后却从其他节点分配的次数;;
numa_foreign 0 0 # num_foregin是打算在其他节点分配内存，最后却从这个节点分配的次数;
interleave_hit 36706 36904 # interleave_hit是采用interleave策略最后从该节点分配的次数;
local_node 15903586 17527159 # local_node该节点上的进程在该节点上分配的次数
other_node 8151 68167 # other_node是其他节点进程在该节点上分配的次数

3）查看各个Node的cpu信息 lscpu

# lscpu
Architecture: x86_64
CPU op-mode(s): 32-bit, 64-bit
Byte Order: Little Endian
CPU(s): 40
On-line CPU(s) list: 0-39
Thread(s) per core: 2
Core(s) per socket: 10
Socket(s): 2
NUMA node(s): 2
Vendor ID: GenuineIntel
CPU family: 6
Model: 62
Model name: Intel(R) Xeon(R) CPU E5-2660 v2 @ 2.20GHz
Stepping: 4
CPU MHz: 2118.617
BogoMIPS: 4405.31
Virtualization: VT-x
L1d cache: 32K
L1i cache: 32K
L2 cache: 256K
L3 cache: 25600K
NUMA node0 CPU(s): 0-9,20-29 *
NUMA node1 CPU(s): 10-19,30-39

4 测试（访问不同节点的内存的IO）

1) write 测试

# numactl --cpubind=0 --membind=0 dd if=/dev/zero of=/dev/shm/A bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 0.823497 s, 1.3 GB/s

# numactl --cpubind=0 --membind=1 dd if=/dev/zero of=/dev/shm/A bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 0.936182 s, 1.1 GB/s

明显访问同一节点的内存速度比访问不同节点内存的速度快。

2） read 测试

# numactl --cpubind=0 --membind=0 dd if=/dev/shm/A of=/dev/null bs=1K count=1024K
1048576+0 records in
1048576+0 records out
1073741824 bytes (1.1 GB) copied, 1.09543 s, 980 MB/s

# numactl --cpubind=0 --membind=1 dd if=/dev/shm/A of=/dev/null bs=1K count=1024K
1048576+0 records in
1048576+0 records out
1073741824 bytes (1.1 GB) copied, 1.11862 s, 960 MB/s

结论和write 相同。但是差距比较小。

5. 参考资料

1） http://www.ibm.com/developerworks/cn/linux/l-numa/

2） http://blog.csdn.net/jollyjumper/article/details/17168175