极智开发 | 谈谈 GPU 利用率
欢迎关注我的公众号 [极智视界]，回复001获取Google编程规范
大家好，我是极智视界，本文主要谈谈 GPU 利用率，以 Nvidia GPU 为例。
GPU 的硬件架构不完全相同，有如下发展轨迹：Turing (图灵) > Volta (沃尔特) > Pascal (帕斯卡) > Maxwell (麦克斯韦) > Kepler (开普勒) > Fermi (费米) > Tesla (特斯拉)。以 NVIDIA T4 为例，其是基于 Turing 框架，Turing 架构中 SM 的硬件抽象如图所示：
从官方关于图灵架构的介绍可知，最大的改进有三个：
(1) 增加了区别于浮点运算的整型运算通路 (也就是其中的INT32运算通路)；
(2) 增加了专门针对深度网络的 Turing TENSOR CORES 进行矩阵运算的加速；
(3) 增加了 RT CORE 进行光追特效的渲染；
其中我们能够使用到的特性就是前面两个。
RTX2060 也是图灵框架，从带有 RTX2060 的 Windows 的资源管理器中可以看到多个利用率指标，如下：
其中用于深度学习训练推理相关的主要是 Cuda 利用率，接下来主要解释 Cuda 利用率定义。
对存储器的访问速度进行排序，总共有三类存储器，大致遵循以下的排序方式：寄存器 > 局部存储器 > 全局存储器，速度差距是呈数量级的。
关于 Cuda 利用率的定义，这里使用 《并行编程方法与优化实践》 中的占用率进行解释。不同硬件拥有不同数目的 Cuda 核心数，而不同硬件的 Cuda 能力又不相同，不同的计算任务划分成块后，涉及到 Cuda 核心层面跟局部存储器大小和寄存器个数又会相关联。Cuda 利用率的定义是：在一个时刻，所有 Cuda 上的总线程数和最大允许数目的比例。 假设有一个计算任务，因为内核寄存器数目和局部存储器大小限制，该计算任务不可能根据最大允许数目来进行划分，必须考虑到每个 Cuda 的寄存器数目和划分成块后需要的局部数据的大小，而这就用 Cuda 利用率指标来表现出来。
以上分享了 GPU 利用率相关，希望我的分享能对你的学习有一点帮助。
【公众号传送】
《【经验分享】谈谈 GPU 利用率》
扫描下方二维码即可关注我的微信公众号【极智视界】，获取更多AI经验分享，让我们用极致+极客的心态来迎接AI ！
极智开发 | 谈谈 GPU 利用率相关推荐
- 极智开发 | 阿里云ECS本地开发环境搭建
欢迎关注我的公众号 [极智视界],获取我的更多笔记分享 大家好,我是极智视界,本文介绍一下 阿里云ECS本地开发环境搭建. 之前介绍过华为云的开发环境搭建,有兴趣的同学可以移步我的这篇&l ...
- 极智开发 | ubuntu 安装有线网卡驱动
欢迎关注我的公众号 [极智视界],获取我的更多笔记分享 大家好,我是极智视界,本文介绍一下 ubuntu 安装有线网卡驱动方法. 这里的现象是:ubuntu 机器能连接 wifi 上网,但 ...
- 极智开发 | 华为云ECS本地开发环境搭建
欢迎关注我的公众号 [极智视界],获取我的更多笔记分享 大家好,我是极智视界,本文介绍一下 华为云ECS本地开发环境搭建. 云 上的 AI 应用部署,一定是 AI 应用部署的重要分支.云( ...
- 极智AI | 谈谈昇腾 CANN AIPP
欢迎关注我的公众号 [极智视界],获取我的更多笔记分享 大家好,我是极智视界,本文介绍一下 谈谈昇腾 CANN AIPP. 昇腾 CANN 的全称是 Compute Architectur ...
- 极智AI | 谈谈 caffe 框架
欢迎关注我的公众号 [极智视界],获取我的更多笔记分享 大家好,我是极智视界,本文介绍一下 谈谈 caffe 框架. 大部分同学应该都知道,caffe 是一个 古老而又优秀的深度学习训练框 ...
- 极智开发 | Go 热加载之 fresh
欢迎关注我的公众号 [极智视界],获取我的更多笔记分享 大家好,我是极智视界,本文介绍一下 Go 热加载之 fresh. 热加载是指可以在不重启服务的情况下,保存后即可让更改的代码生效的一 ...
- 极智开发 | nginx 部署 antd pro
欢迎关注我的公众号 [极智视界],获取我的更多笔记分享 大家好,我是极智视界,本文介绍一下 nginx 部署 antd pro. Ant Design Pro 是基于 Ant Design ...
- 极智AI | 谈谈几种量化策略：MinMax、KLD、ADMM、EQ
欢迎关注我的公众号 [极智视界],获取我的更多笔记分享 O_o >_< o_O O_o ~_~ o_O 本文主要聊一下深度学习模型量化相关策略. 模型小 ...
- 极智AI | 谈谈模型剪枝之通道剪枝策略
欢迎关注我的公众号 [极智视界],获取我的更多笔记分享 大家好,我是极智视界.本文主要聊一聊模型剪枝之通道剪枝相关实践分享. 模型剪枝是模型推理加速的重要实现技术手段,模型剪枝往往期望达到 ...
最新文章
- 《梦断代码》阅读笔记01
- STM32F4 HAL库开发 -- 温度传感器（DS18B20）
- [NOI2018]冒泡排序
- mysql数据存在就更新_Mysql:如果数据存在则更新，不存在则插入
- 设计模式：Abstract Factory和Builder(比较区别，个人认为讲得很明白)
- 支持60+数据传输链路，华为云DRS链路商用大盘点
- python读取ini文件
- Cesium中的Heading/Pitch/Roll
- 佩服Google敏锐和创意！人肉搜索引擎志愿者招募
- 2019北航计算机961考研经验总结
- C语言基础 入门学习（一）
- laravel框架基础知识
- 4星|《激荡十年，水大鱼大》：过去十年间国内商业简史
- windows下自动切换并连接wifi热点
- 记录QFileInfo::size()对.lnk文件获取大小出错的一个坑
- 使用Xamarin实现跨平台移动应用开发（转载）
- 87.序列到序列学习（seq2seq）以及代码实现
- matlab图像处理英文文献,数字图像处理英文文献翻译参考.doc
- 技术支持岗位面试问题汇总，绝对有你遇到的面试题！！
- fetion飞信登录异常，错误码10033201、10033202