CUDA学习:GPU硬件连接模型

一、基本的CPU与GPU连接模型

CPU与GPU之间的连接是通过PCI-Express总线进行连接的。GPU不是一个独立运行的平台而是CPU的协处理器。因此，GPU必须通过PCIe总线与基于CPU的主机相连来进行操作
- 一个典型的异构计算节点，如下所示
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kMCzj1kc-1657876706120)(ReferImage\典型的异构计算结点.png)]
- 一个典型的异构计算节点包括两个多核CPU插槽和两个或更多个的众核GPU。
- CPU中的多核指的是其中的算术逻辑单元（Arithmetic Logic Unit)。
- 多处理器指的是具有多个CPU
- 由存储器的层次结构可知，CPU直接与寄存器（Register）进行数据交换。由于主存读写数据的速度与CPU计算速度不在一个数量级，因此在主存（DRAM）和CPU寄存器之间存在着高速缓存（SRAM）来作为过渡。高速缓存通常被封装在CPU中。
CPU通过北桥来与主存通信并控制主存。
GPU通过对应的内存控制器来与显存进行通信并控制显存

二、多处理器（对称多处理器）连接模型

对称多处理器是指在一个计算机上汇集了一组处理器(多CPU),各CPU之间共享一个地址空间(共享内存),并对所有资源具有同等访问权限
在对称多处理器系统中,所有处理器的地位都是相同的,所有的资源,特别是存储器,中断及I/O空间都具有相同的可访问性,消除了结构上的障碍

三、多处理器（非统一内存访问，NUMA）连接模型

非统一内存访问的结构是多个统一内存访问体系结构通过总线互联在一起
某个节点的处理器可以直接访问到其他节点的全局地址内存，但是某个节点的处理器访问其他节点的全局地址内存的访问时间会慢于其访问本地节点的全局地址内存，因此这种体系结构叫做非统一内存访问。
多处理器共用一个I/O端口

四、多处理器（集成PCIe总线）连接模型

I/O端口直接集成在CPU中，不同CPU使用不同的I/O端口。
CPU与CPU之间可以进行通信

五、集成GPU连接模型

集成显卡

六、集显与独显综合的连接模型

独显存在自己独立的显存

七、多插槽GPU连接模型

每块GPU存在自己独立的显存
GPU与GPU之间的通信需要占用主板的PCIe总线资源

八、Multi-GPU board连接模型

GPU与GPU之间的通信不需要占用主板的PCIe总线资源

九、简化的CPU/GPU架构总结

CPU和GPU之间通过主板的PCIe总线进行通信，PCIe总线的带宽大约为：8~16GB/s
CPU和主存之间的连接接口主要是DDR3(频率1600MHz,带宽12.8GB/s)/DDR4
GPU与显存之间的连接接口主要是GDDR5(10210^2102GB/s)

十、查看自己电脑显卡的信息

找到CUDA的安装路径，在命令行运行路径下的deviceQuery.exe文件,如下所示:

探测到一个NVIDIA CUDA GPU设备.
设备编号为:0.实际编程时调用CUDA RuntimeAPI时的设备编号指的就是该编号.
可以看到,以1650为例,其拥有14个对称多处理器(SMP),每个SMP有64个CUDA核心,总计有:896个CUDA核心
显存频率为4GHz,总线宽度为128bit.由此可计算出GTX1650的显存带宽:
BandWidth=MemoryClockRate∗MemoryBusWidth∗NumberofChannel/8(GByte/s)GTX1650显存带宽=4GHz∗128∗2/8=128GByte/sBandWidth=MemoryClockRate*MemoryBusWidth*NumberofChannel/8\quad(GByte/s)\\ GTX1650显存带宽=4GHz*128*2/8=128\quad GByte/s BandWidth=MemoryClockRate∗MemoryBusWidth∗NumberofChannel/8(GByte/s)GTX1650显存带宽=4GHz∗128∗2/8=128GByte/s
每个线程块中的寄存器数量为：65536
每个多处理器中最大线程数：1024
每个线程块中的寄存器数量为：65536
每个多处理器中最大线程数：1024
每个线程块中最大线程数：1024

CUDA学习:GPU硬件连接模型相关推荐

GPU硬件结构和编程模型(源于nvidia的CUDA文档)
GPU的硬件结构 GPU通过一个可扩展的多线程流式多处理器(SMs)构建.一个multiprocessor可以在同一时间处理上百个线程.为了管理这些线程,使用一个特殊的结构SIMT.利用单线程中指令级 ...
【CUDA编程】学习笔记（二） GPU硬件架构
一.CPU与GPU的链接模型在计算机的硬件架构中,CPU与GPU有多种链接模式,下面介绍几种典型的架构北桥多CPU(SMP) 多CPU(NUMA) 多CPU(NUMA)多总线具有集成PCI E ...
CUDA学习笔记之 CUDA存储器模型
CUDA学习笔记之 CUDA存储器模型标签: cuda存储bindingcache编程api 2010-12-14 01:33 1223人阅读评论(0) 收藏举报分类: CUDA(26) GP ...
CUDA和cuDNN到底是啥关系？（cuDNN是基于CUDA的深度学习GPU加速库）
1.什么是CUDA CUDA(ComputeUnified Device Architecture),是显卡厂商NVIDIA推出的运算平台. CUDA是一种由NVIDIA推出的通用并行计算架构,该架构 ...
百度dueros人工智能-RDA5981(R01开发板)-学习心得-入门及硬件连接
一．入门及硬件连接自从2017年12月10号收到在深圳比特跳动技术有限公司的淘宝网上购买的百度dueros人工智能-R01开发板,当拆开快递包裹的时候,我本以为可以到手就玩,结果当场就懵了,配件如下 ...
深入GPU硬件架构及运行机制
一.导言对于大多数图形渲染开发者,GPU是既熟悉又陌生的部件,熟悉的是每天都需要跟它打交道,陌生的是GPU就如一个黑盒,不知道其内部硬件架构,更无从谈及其运行机制. 本文以NVIDIA作为主线,将试 ...
深入理解GPU硬件架构及运行机制
目录一.导言 1.1 为何要了解GPU? 1.2 内容要点 1.3 带着问题阅读二.GPU概述 2.1 GPU是什么? 2.2 GPU历史 2.2.1 NV GPU发展史 2.2.2 NV GPU ...
CUDA学习笔记之程序优化
CUDA学习笔记之程序优化标签: cuda优化conflict存储算法数学计算 2010-01-05 17:18 5035人阅读评论(4) 收藏举报分类: CUDA(6) 版权声明:本文为博主 ...
教你如何挑选深度学习GPU
教你如何挑选深度学习GPU 即将进入 2018 年,随着硬件的更新换代,越来越多的机器学习从业者又开始面临选择 GPU 的难题.正如我们所知,机器学习的成功与否很大程度上取决于硬件的承载能力.在今年 ...

CUDA学习:GPU硬件连接模型

CUDA学习:GPU硬件连接模型

一、基本的CPU与GPU连接模型

二、多处理器（对称多处理器）连接模型

三、多处理器（非统一内存访问，NUMA）连接模型

四、多处理器（集成PCIe总线）连接模型

五、集成GPU连接模型

六、集显与独显综合的连接模型

七、多插槽GPU连接模型

八、Multi-GPU board连接模型

九、简化的CPU/GPU架构总结

十、查看自己电脑显卡的信息

CUDA学习:GPU硬件连接模型相关推荐

最新文章

热门文章