【笔记】CUDA（二） - （异步）SIMT 架构

（异步）SIMT 架构

在 CUDA 编程模型中，线程是进行计算或内存操作的最低抽象级别。从基于 NVIDIA Ampere GPU 架构的设备开始，CUDA 编程模型通过异步编程模型为内存操作提供加速。异步编程模型定义了与 CUDA 线程相关的异步操作的行为。

异步编程模型为 CUDA 线程之间的同步定义了异步屏障的行为。该模型还解释并定义了如何使用 cuda::memcpy_async 在 GPU计算时从全局内存中异步移动数据。

异步操作

异步操作定义为由CUDA线程发起的操作，并且与其他线程一样异步执行。在结构良好的程序中，一个或多个CUDA线程与异步操作同步。发起异步操作的CUDA线程不需要在同步线程中.

这样的异步线程（as-if 线程）总是与发起异步操作的 CUDA 线程相关联。异步操作使用同步对象来同步操作的完成。这样的同步对象可以由用户显式管理（例如，cuda::memcpy_async）或在库中隐式管理（例如，cooperative_groups::memcpy_async）。

同步对象可以是 cuda::barrier 或 cuda::pipeline。这些对象在 Asynchronous Barrier 和 Asynchronous Data Copies using cuda::pipeline 中进行了详细说明。这些同步对象可以在不同的线程范围内使用。作用域定义了一组线程，这些线程可以使用同步对象与异步操作进行同步。

下表定义了CUDA c++中可用的线程作用域，以及可以与每个线程同步的线程。

Thread Scope	Description
cuda::thread_scope::thread_scope_thread	Only the CUDA thread which initiated asynchronous operations synchronizes.
cuda::thread_scope::thread_scope_block	All or any CUDA threads within the same thread block as the initiating thread synchronizes.
cuda::thread_scope::thread_scope_device	All or any CUDA threads in the same GPU device as the initiating thread synchronizes.
cuda::thread_scope::thread_scope_system	All or any CUDA or CPU threads in the same system as the initiating thread synchronizes.

这些线程作用域是在CUDA 标准c++库中作为标准c++的扩展实现的。

【笔记】CUDA（二） - （异步）SIMT 架构相关推荐

软考笔记（二）高级系统架构师/分析师：计算机网络基础与信息安全
目录软考官网报名通道软考架构师笔记(一):计算机系统基础软考架构师笔记(二):计算机网络基础与信息安全软考架构师笔记(三):操作系统基础软考架构师笔记(四):企业信息化与系统规划软考架构 ...
MAC OS X 技术内幕学习笔记之二 MAC OS系统架构
MAC OS系统架构苹果系统把其操作系统分为四个层次,分别为应用层,应用框架层.核心框架层,还有就是Darwin 1.应用层:包括用户能接触到的图形应用,如 Spotlight(系统自带搜索栏).A ...
响应式编程笔记（二）：代码编写
2019独角兽企业重金招聘Python工程师标准>>> 响应式编程笔记(二):代码编写博客分类: 架构原文:Notes on Reactive Programming Part ...
读书笔记之大型网站技术架构(核心原理与案例分析)
前言坚持看了十几天的书,终于完成了毕业后第一次静下心来,利用业务时间看书并做笔记的成就了.废话不多说,这回看的是一直很膜拜的李智慧大神写的大型网站技术架构-核心原理与案例分析. 简短的读后感极其推 ...
【Unity学习笔记】b站Unity架构课Unity3D 商业化的网络游戏架构（高级/主程级别）
[Unity学习笔记]b站Unity架构课Unity3D 商业化的网络游戏架构(高级/主程级别) 自己跟着学完了,写了不少代码,会放在CSDN代码库,因为老师并没有提供源码,录屏也不是完全连续,所以难 ...
【阅读笔记】Java游戏服务器架构实战
[阅读笔记]Java游戏服务器架构实战书籍链接:Java游戏服务器架构实战作者提供的源码链接:kebukeYi / book-code 这里对书籍中比较重要的知识点(精华部分)进行摘录(总结) 文 ...
【大厂面试】面试官看了赞不绝口的Redis笔记（二）
文章目录说明四.Redis的其他功能 (一)慢查询 (二)pipeline (三)发布订阅 (四)Bitmap (五)HyperLogLog (六)GEO 五.Redis持久化的取舍和选择 (一) ...
python标识符最大可能长度_Opencv-Python学习笔记（二）
2. 使用OpenCV3处理图像 2.1 不同色彩空间的转换 OpenCV中有数百种关于在不同色彩空间之间转换的方法. 三种常用色彩空间:灰度.BGR.HSV(Hue色调,Saturation饱和度, ...
谷粒商城--秒杀服务--高级篇笔记十二
谷粒商城–秒杀服务–高级篇笔记十二 1.后台添加秒杀商品未配置秒杀服务相关网关 1.1 配置网关 - id: coupon_routeuri: lb://gulimall-couponpredica ...

【笔记】CUDA（二） - （异步）SIMT 架构

（异步）SIMT 架构

【笔记】CUDA（二） - （异步）SIMT 架构相关推荐

最新文章

热门文章