cuDNN 功能模块解析

Abstract

本cuDNN 8.0.4开发人员指南概述了cuDNN功能，如可自定义的数据布局、支持灵活的dimension ordering，striding，4D张量的子区域，这些张量用作其所有例程的输入和输出。这种灵活性可简单集成到任何神经网络实现中。

要访问cuDNN API参考，请参阅cuDNN
API参考指南。

https://docs.nvidia.com/deeplearning/cudnn/api/index.html

有关先前发布的cuDNN开发人员文档，请参阅cuDNN存档。

https://docs.nvidia.com/deeplearning/cudnn/archives/index.html

Overview

NVIDIA® CUDA® Deep
Neural Network library™ (cuDNN) 提供了深度神经网络GPU加速库。该cuDNN数据类型参考API描述了所有类型和枚举的 cuDNN库API。该cuDNN API参考描述了所有程序的API cuDNN库。

该cuDNN库以及这个API文档已经被分成以下库：

cudnn_ops_infer -该实体包含与cuDNN上下文创建和销毁，张量描述符管理器，张量实用程序以及常见ML算法的推理部分（例如批处理归一化，softmax，dropout等）有关的例程。
cudnn_ops_train -该实体包含通用的训练例程和算法，例如批量归一化，softmax，dropout等。
cudnn_ops_train 库依赖于 cudnn_ops_infer。
cudnn_cnn_infer-该实体包含推理时所需的与卷积神经网络相关的所有例程。的 cudnn_cnn_infer 库依赖于 cudnn_ops_infer。
cudnn_cnn_train-该实体包含训练期间所需的与卷积神经网络相关的所有例程。的 cudnn_cnn_train 库依赖于 cudnn_ops_infer， cudnn_ops_train和 cudnn_cnn_infer。
cudnn_adv_infer-该实体包含所有其他功能和算法。这包括RNN，CTC loss和多线程attention。cudnn_adv_infer 库依赖于 cudnn_ops_infer。
cudnn_adv_train -该实体包含以下所有cudnn_adv_infer训练对象。 cudnn_adv_train 库依赖于 cudnn_ops_infer， cudnn_ops_train和 cudnn_adv_infer。
cudnn -这是应用程序层和cuDNN代码之间的可选填充层。该层在运行时适时地为API开放了适配的库。
cudnn_ops_infer -
This entity contains the routines related to cuDNN context creation and
destruction, tensor descriptor management, tensor utility routines, and
the inference portion of common ML algorithms such as batch normalization,
softmax, dropout, etc.
cudnn_ops_train -
This entity contains common training routines and algorithms, such as
batch normalization, softmax, dropout, etc. The cudnn_ops_train library
depends on cudnn_ops_infer.
cudnn_cnn_infer -
This entity contains all routines related to convolutional neural networks
needed at inference time. The cudnn_cnn_infer library depends
on cudnn_ops_infer.
cudnn_cnn_train -
This entity contains all routines related to convolutional neural networks
needed during training time. The cudnn_cnn_train library depends
on cudnn_ops_infer, cudnn_ops_train,
and cudnn_cnn_infer.
cudnn_adv_infer -
This entity contains all other features and algorithms. This includes
RNNs, CTC loss, and Multihead Attention. The cudnn_adv_infer library depends
on cudnn_ops_infer.
cudnn_adv_train -
This entity contains all the training counterparts of cudnn_adv_infer.
The cudnn_adv_train library
depends on cudnn_ops_infer, cudnn_ops_train,
and cudnn_adv_infer.
cudnn -
This is an optional shim layer between the application layer and the cuDNN
code. This layer opportunistically opens the correct library for the API
at runtime.

Programming Model

cudn库公开了一个主机API，但是假设对于使用GPU的操作，可以从设备直接访问所需的数据。

使用cuDNN的应用程序必须通过调用cudnnCreate（）初始化库上下文的句柄。这个句柄被显式地传递给对GPU数据进行操作的每个后续库函数。一旦应用程序使用完cudndn，它就可以使用cudndestory（）释放与库句柄关联的资源。这种方法允许用户在使用多个主机线程、gpu和CUDA流时显式地控制库的功能。

例如，应用程序可以使用cudaSetDevice将不同的设备与不同的主机线程相关联，并且在每个主机线程中，使用一个唯一的cuDNN句柄，该句柄将库调用定向到与之关联的设备。因此，使用不同句柄进行的cudn库调用将自动在不同的设备上运行。

假定与特定cuDNN关联的设备在相应的cudncreate（）和cudndestory（）调用之间保持不变。为了使cuDNN库在同一主机线程中使用不同的设备，应用程序必须通过调用cudaSetDevice（）设置要使用的新设备，然后通过调用cudnnCreate（）创建另一个cuDNN，cuDNN将与新设备相关联。

cuDNN API Compatibility

Beginning in cuDNN 7, the binary compatibility of a patch and minor releases is maintained as follows:

Any patch release x.y.z is forward or backward-compatible with applications built against another cuDNN patch release x.y.w (meaning, of the same major and minor version number, but having w!=z).
cuDNN minor releases beginning with cuDNN 7 are binary backward-compatible with applications built against the same or earlier patch release
(meaning, an application built against cuDNN 7.x is binary compatible with cuDNN library 7.y, where y>=x).
Applications compiled with a cuDNN version 7.y are not guaranteed to work with 7.x release when y > x.

Convolution Formulas

This section describes the various convolution formulas implemented in convolution functions.

The convolution terms described in the table below apply to all the convolution formulas that follow.

Table 1. Convolution terms

cuDNN 功能模块解析相关推荐

Apollo 3.5 各功能模块的启动过程解析
严正声明:本文系作者davidhopper原创,未经许可,不得转载. Apollo 3.5彻底摒弃ROS,改用自研的Cyber作为底层通讯与调度平台.各功能模块的启动过程与之前版本天壤之别.本文对 ...
八字算命网站源码技术细节解析：使用PHP和JAVA实现的MVC架构、MySQL数据库设计和功能模块介绍
技术文档:八字算命网站源码 1. 简介本文档介绍了八字算命网站源码的技术细节,包括使用的技术.架构.数据库设计.代码结构和功能模块等. 2. 技术选型本网站采用PHP和JAVA两种技术开发,具体如 ...
付费测算源码技术细节解析：使用Laravel框架实现的星座运势、塔罗牌、牛年运程、宝宝起名、月老姻缘、起名算命等多个功能模块
技术文档:付费测算源码 1. 简介本文档介绍了付费测算源码的技术细节,包括使用的技术.架构.数据库设计.代码结构和功能模块等.本源码提供了星座运势.塔罗牌.牛年运程.宝宝起名.月老姻缘.起名算命等多 ...
Connect模块解析转载
来自对<了不起的Node.js>一书的学习 Connect Node.js为常规的网络应用提供了基本的API.然而,实际情况下,绝大部分网络应用都需要完成一系列类似的操作,这些类似的操作你 ...
[系统安全] 四十五.APT系列(10)Metasploit后渗透技术信息收集、权限提权和功能模块详解
您可能之前看到过我写的类似文章,为什么还要重复撰写呢?只是想更好地帮助初学者了解病毒逆向分析和系统安全,更加成体系且不破坏之前的系列.因此,我重新开设了这个专栏,准备系统整理和深入学习系统安全.逆向分 ...
python文件之间的相互调用_用Python创建功能模块——截取字符串模块
用Python创建模块本篇文章小编给大家分享在Python如何创建属于自己的模块,实现更多的功能! 一.模块模块是什么?简单来说,当程序的功能很多.代码量很大时,我们可以编写一个实现一定功能的py ...
Spring的核心模块解析
转载自 Spring的核心模块解析 Spring框架是一个轻量级的集成式开发框架,可以和任何一种框架集成在一起使用,可以说是一个大的全家桶.Spring从1.x发展到现在的5.x可以说是越来越强大,下 ...
python编写登录_通过Python编写一个简单登录功能过程解析
通过Python编写一个简单登录功能过程解析需求: 写一个登录的程序, 1.最多登陆失败3次 2.登录成功,提示欢迎xx登录,今天的日期是xxx,程序结束 3.要检验输入是否为空,账号和密码不能为空 ...
Nginx 静态文件服务器搭建及autoindex模块解析
ngx_http_autoindex_module ngx_http_autoindex_module模块处理以斜杠字符('/')结尾的请求,并生成目录列表. 当ngx_http_index_modu ...

cuDNN 功能模块解析

cuDNN 功能模块解析相关推荐

最新文章

热门文章