Warp

CUDA编程中，warp是调度和运行的基本单元，目前，每个warp包含32个threads。软件逻辑上，程序员的所有thread是并行的，但是，从硬件的角度来说，实际上并不是所有的thread能够在同一时刻执行。

例如：一个block 有128个thread，那么可以分为warp0~warp3，SM同时只执行一个warp，其他warp以就绪，挂起等状态存在。这点类似CPU的线程调度。从这角度看，SM相当于CPU核心，warp相当于CPU中一个线程。

Q：一个SM中可能有128或者192个SP（根据compute capability不同），一个thread需要SP中运行，一个SM同时执行的只有一个warp也就是32个thread，那么这个SM中的其他SP都在空闲？

Warps & Blocks

Ｗarp是GPU运行调度的单位，由SM的warp scheduler负责调度，对程序员来说warp是透明的，我们可以设置的是block。Blocks中包含很多threads，CUDA会将它们组成成warps，如果block所含线程数目不是32（warp size）的整数倍，硬件也会为warp凑足，那么多出的threads所在的warp中，会存在一些inactive的threads，如下图。需要注意的是，即使这部分thread是inactive的，也会消耗SM资源。一个warp中的thread必然在同一个block中。

【CUDA编程】Warp Divergence分析相关推荐

CUDA C编程接口技术分析
CUDA C编程接口技术分析编程接口 CUDA C为熟悉C编程语言的用户提供了一个简单的路径,可以方便地编写程序供设备执行. 它由C语言的最小扩展集和运行库组成. 核心语言扩展已经引入:cuda c ...
CUDA编程——GPU架构，由sp，sm，thread，block，grid，warp说起
目录 1.从硬件看 2.从软件看 3.对应关系 4.SIMT和SIMD 掌握部分硬件知识,有助于程序员编写更好的CUDA程序,提升CUDA程序性能,本文目的是理清sp,sm,thread,block, ...
(CUDA 编程1).CUDA 线程执行模型分析（一）招兵 ------ GPU的革命
(CUDA 编程1).CUDA 线程执行模型分析(一)招兵 ------ GPU的革命作者:赵开勇来源:http://www.hpctech.com/2009/0818/198.html 序:或许 ...
CUDA编程第三章: CUDA执行模型
前言: 本章内容: 通过配置文件驱动的方法优化内核理解线程束执行的本质增大GPU的并行性掌握网格和线程块的启发式配置学习多种CUDA的性能指标和事件了解动态并行与嵌套执行通过上一章的练习, ...
CUDA编程之快速入门-----GPU加速原理和编程实现
转载:https://www.cnblogs.com/skyfsm/p/9673960.html CUDA(Compute Unified Device Architecture)的中文全称为计算统一 ...
[转]浅析GPU计算——cuda编程
在<浅析GPU计算--CPU和GPU的选择>一文中,我们分析了在遇到什么瓶颈时需要考虑使用GPU去进行计算.本文将结合cuda编程来讲解实际应用例子.(转载请指明出于breaksoftwa ...
CUDA 编程学习
0 简单的CUDA简介 1.简单教程 CUDA C ++只是使用CUDA创建大规模并行应用程序的方法之一.它允许您使用功能强大的C ++编程语言来开发由GPU上运行的数千个并行线程加速的高性能算法.许 ...
cuda编程思想和opencv_gpu图像处理
CUDA编程 https://github.com/Ewenwan/ShiYanLou/tree/master/CUDA CUDA(Compute Unified Device Architectur ...
CUDA编程 -- 2向量加法
本文介绍CUDA环境下两个向量的加法运算.代码运行的系统环境为操作系统Ubuntu 16.04 LTS 64位,CUDA版本7.5,GCC版本5.4.0.项目Github下载地址为:CUDA向量加法G ...

【CUDA编程】Warp Divergence分析

Warp

Warps & Blocks

【CUDA编程】Warp Divergence分析相关推荐

最新文章

热门文章