深入理解CUDA线程层次以及关于设置线程数的思考
深入理解CUDA线程层次以及关于设置线程数的思考
分类：
在执行时，GPU的任务分配单元（global block scheduler）将网格分配到GPU芯片上。启动CUDA 内核时，需要将网格信息从CPU传输到GPU。任务分配单元根据这些信息将块分配到SM上。任务分配单元使用的是轮询策略：轮询查看SM是否还有足够的资源来执行新的块，如果有则给SM分配一个新的块，如果没有则查看下一个SM。决定能否分配的因素有：每个块使用的共享存储器数量，每个块使用的寄存器数量，以及其它的一些限制条件。任务分配单元在SM的任务分配中保持平衡，但是程序员可以通过更改块内线程数，每个线程使用的寄存器数和共享存储器数来隐式的控制，从而保证SM之间的任务均衡。任务以这种方式划分能够使程序获得了可扩展性：由于每个子问题都能在任意一个SM上运行，CUDA程序在核心数量不同的处理器上都能正常运行，这样就隐藏了硬件差异。
对于程序员来说，他们需要将任务划分为互不相干的粗粒度子问题(最好是易并行计算)，再将每个子问题划分为能够使用线程处理的问题。同一线程块中的线程开始于相同的指令地址，理论上能够以不同的分支执行。但实际上，在块内的分支因为SM构架的原因被大大限制了。内核函数实质上是以块为单位执行的。同一线程块中的线程需要SM中的共享存储器共享数据，因此它们必须在同一个SM中发射。线程块中的每一个线程被发射到一个SP上。任务分配单元可以为每个SM分配最多8个块。而SM中的线程调度单元又将分配到的块进行细分，将其中的线程组织成更小的结构，称为线程束（warp）。在CUDA中，warp对程序员来说是透明的，它的大小可能会随着硬件的发展发生变化，在当前版本的CUDA中，每个warp是由32个线程组成的。SM中一条指令的延迟最小为4个指令周期。8个SP采用了发射一次指令，执行4次的流水线结构。所以由32个线程组成的Warp是CUDA程序执行的最小单位，并且同一个warp是严格串行的，因此在warp内是无须同步的。在一个SM中可能同时有来自不同块的warp。当一个块中的warp在进行访存或者同步等高延迟操作时，另一个块可以占用SM中的计算资源。这样，在SM内就实现了简单的乱序执行。不同块之间的执行没有顺序，完全并行。无论是在一次只能处理一个线程块的GPU上,还是在一次能处理数十乃至上百个线程块的GPU上，这一模型都能很好的适用。
目前，某一时刻只能有一个内核函数正在执行，但是在Fermi架构中，这一限制已被解除。如果在一个内核访问数据时，另一个内核能够进行计算，则可以有效的提高设备的利用率。
每一个块内线程数应该首先是32的倍数，因为这样的话可以适应每一个warp包含32个线程的要求，每一个warp中串行执行，这就要求每一个线程中不可以有过多的循环或者需要的资源过多。但是每一个块中如果线程数过多，可能由于线程中参数过多带来存储器要求过大，从而使SM处理的效率更低。所以，在函数不是很复杂的情况下，可以适当的增加线程数目，线程中不要加入循环。在函数比较复杂的情况下，每一个块中分配32或是64个线程比较合适。每一个SM同时处理一个块，只有在粗粒度层面上以及细粒度层面上均达到平衡，才能使得GPU的利用到达最大。我用的显卡为GeForce GTX560 Ti，每一个网格中允许的最大块数位65535个，而每个块中的线程数为1024个，所以说粗粒度平衡对于我来说影响比较小，就细粒度来说，每一个块中的线程数以及每一个线程中的循环就变得至关重要了。
深入理解CUDA线程层次以及关于设置线程数的思考相关推荐
- GPU（CUDA）学习日记（十一）------ 深入理解CUDA线程层次以及关于设置线程数的思考
GPU(CUDA)学习日记(十一)------ 深入理解CUDA线程层次以及关于设置线程数的思考 标签: cuda存储线程结构网格 2012-12-07 16:30 6298人阅读 评论(4)收藏 举 ...
- 【多线程】线程的引入，创建线程的方式，设置线程名字、获取名字，线程优先级priority，加入休眠的方法，，后台线程，礼让线程，Join，中断线程，某电影院，共有100张票线程流程图，3售票窗口，
多线程 1.线程的引入 进程: 正在运行的程序,是系统进行资源分配和调用的独立单位.每一个进程都有它自己的内存空间和资源. 线程: 是进程的单个顺序控制流,或者说就是一个单独执行的路径 一个进程如果只 ...
- 线程间的通信 设置线程等待与线程唤醒
代码实现上述框图: 1 //等待唤醒机制 2 3 /* 4 wait(),notify(),notifyAll()必须用在同步中,因为同步中才有锁. 5 指明让持有那个锁的线程去等待或被唤醒,例如ob ...
- android线程优先级大小,android 设置线程优先级 两种方式
1) android.os.Process.setThreadPriority (int priority)或android.os.Process.setThreadPriority (int tid ...
- unix设置线程优先级-转
如何在linux/unix中设置线程的优先级 int pthread_create(pthread_t *thread, const pthread_attr_t *attr, void *(*sta ...
- [.Net线程处理系列]专题二：线程池中的工作者线程
目录: 一.上节补充 二.CLR线程池基础 三.通过线程池的工作者线程实现异步 四.使用委托实现异步 五.任务 六.小结 一.上节补充 对于Thread类还有几个常用方法需要说明的. 1.1 Susp ...
- python异步线程算法应用_Python多线程----线程池以及线程实现异步任务
了解异步编程 楼主在工作中遇到了以下问题,开发接口爬取数据代码完成之后要写入redis缓存,但是在写入缓存的过程花费2-3s,进行这样就大大影响了接口的性能,于是想到了使用异步存储. 传统的同步编程是 ...
- python协程和线程_python之并发编程(线程\进程\协程)
一.进程和线程 1.进程 假如有两个程序A和B,程序A在执行到一半的过程中,需要读取大量的数据输入(I/O操作),而此时CPU只能静静地等待任务A读取完数据才能继续执行,这样就白白浪费了CPU资源.是 ...
- 一文详解java线程池 详解Java线程池的七个参数 详解池化技术 java如何选择核心线程数 详解Java线程池的拒绝策略
目录 引言 线程池使用场景 加快请求响应(响应时间优先) 加快处理大任务(吞吐量优先) 特殊说明 线程池的池化技术 线程池的创建 手动创建 创建newFixedThreadPool线程池 创建newS ...
最新文章
- python-mysql超简单银行转账Model（我说了很简单的）
- Google 多任务学习框架 MMoE
- ajax百分比加载特效,jQuery实现的简单百分比进度条效果示例
- ASP.NET中的状态管理
- PHPCMS V9.3.2用户注册模板中的一个低级Bug
- galaxy+tab+查看android+版本,三星第一代Galaxy Tab将更新至安卓4.1.2版本
- Select()和SelectMany()的区别
- 如何有效使用OpenPower720（上）
- 解读四大应用场景，神策分析云之 LTV 分析模型抢先体验
- 解决deep freeze冰点还原软件无法冻结的问题：计算机正在完成Deep Freeze冰点检测到的待定Windows更新
- Word技巧：如何使用正则表达式高效替换
- 电脑文件夹怎么批量重命名
- 本地缓存之王-Caffeine
- 地下水位监测预警方案 | 助力城市排水信息化
- “音乐床”网页引用本地歌曲最佳途径
- [OpenGL] 屏幕后处理：景深效果
- jtopo 拓扑图的简单使用
- sklearn_feature_selection
- 计算机网络线上复试,线上复试实锤？在线复试技巧拿走不谢！
- cna(cnaps)