GPU, CUDA,cuDNN三者的关系总结

CPU 和 GPU

cpu和gpu结构展示
GPU（图像处理器，Graphics Processing Unit）和CPU（中央处理器，Central Processing Unit）在设计上的主要差异在于GPU有更多的运算单元（如图中绿色的ALU），而Control和Cache单元不如CPU多，这是因为GPU在进行并行计算的时候每个运算单元都是执行相同的程序，而不需要太多的控制。Cache单元是用来做数据缓存的，CPU可以通过Cache来减少存取主内存的次数，也就是减少内存延迟（memory latency）。GPU中Cache很小或者没有，因为GPU可以通过并行计算的方式来减少内存延迟。因此CPU的Cahce设计主要是实现低延迟，Control主要是通用性，复杂的逻辑控制单元可以保证CPU高效分发任务和指令。所以CPU擅长逻辑控制，是串行计算，而GPU擅长高强度计算，是并行计算。打个比方，GPU就像成千上万的苦力，每个人干的都是类似的苦力活，相互之间没有依赖，都是独立的，简单的人多力量大；CPU就像包工头，虽然也能干苦力的活，但是人少，所以一般负责任务分配，人员调度等工作。
可以看出GPU加速是通过大量线程并行实现的，因此对于不能高度并行化的工作而言，GPU就没什么效果了。而CPU则是串行操作，需要很强的通用性，主要起到统管和分配任务的作用。

CUDA

CUDA是NVIDIA推出的用于自家GPU的并行计算框架，也就是说CUDA只能在NVIDIA的GPU上运行，而且只有当要解决的计算问题是可以大量并行计算的时候才能发挥CUDA的作用。

cuDNN

cuDNN（CUDA Deep Neural Network library）：是NVIDIA打造的针对深度神经网络的加速库，是一个用于深层神经网络的GPU加速库。如果你要用GPU训练模型，cuDNN不是必须的，但是一般会采用这个加速库。

总结

简单来说，CPU适合串行计算，擅长逻辑控制。GPU擅长并行高强度并行计算，适用于AI算法的训练学习
CUDA 是NVIDIA专门负责管理分配运算单元的框架
cuDNN是用于深层神经网络的gpu加速库

查询版本命令：

ubuntu:

cuda 版本
nvcc -V
cat /usr/local/cuda/version.txtcudnn 版本
cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2查看Nvidia GPU版本
nvidia-smi//10s显示一次
watch -n 10 nvidia-sminvidia-smi -l

GPU, CUDA,cuDNN三者的关系总结相关推荐

真实机下 ubuntu 18.04 安装GPU +CUDA+cuDNN 以及其版本选择（亲测非常实用）【转】...
本文转载自:https://blog.csdn.net/u010801439/article/details/80483036 ubuntu 18.04 安装GPU +CUDA+cuDNN : 目前, ...
深度学习-deepin深度学习环境搭建（deepin+gpu+cuda+cudnn）
背景之前分别在windows.mac上做深度学习,发现遇到了重重困难.最近正好赶上换机器,顺便也买了gtx1080的显卡,就直接装了deepin的操作系统(大家都反应还不错,自己实际体验也是众望所归 ...
tensorflow kears GPU CUDA Cudnn 各种版本问题
显卡和显卡驱动和cuda版本相关 cuda和cudnn版本相关 tensoflow-gpu和cuda以及cudnn的版本相关 keras和tensoflow-gpu的版本相关 keras和python ...
一文搞定实验室服务器配置：硬件+Ubuntu+CUDA/cuDNN+Python/Anaconda深度学习环境配置
写在最前面这个标题可能有点标题党了.几个月之后回顾这篇博客,觉得这个方案并不适合服务器:服务器应该使用虚拟化的方法搭建环境,这样更加安全.然而如果你是一个做深度学习的,想为自己的主机配置环境,那么这 ...
Pytorch(GPU)配环境原理：cuda+cudnn+pytorch配环境的每一步到底干了些什么？
作者:18届cyl 时间:2022.5.11 参考文章:https://blog.csdn.net/qq_42406643/article/details/109545766 最近帮舍友配pytorc ...
GPU环境部署：Ubuntu16.04 + GPU Tesla V100 + CUDA + CuDNN
Ubuntu16.04 + GPU Tesla V100 + CUDA + CuDNN 文章目录前置条件 1. 基本概念 2. 需要用到的文件 2.1 驱动文件 2.2 CUDA 2.3 CUDNN ...
显卡，GPU，显卡驱动，CUDA ，CUDA Toolkit之间的关系
相关知识收集于网络,主要来自显卡,显卡驱动,nvcc, cuda driver,cudatoolkit,cudnn到底是什么? GPU 和显卡是什么关系? 显卡.显卡驱动.cuda 之间的关系是什么 ...
Ubuntu16.04 安装配置深度学习配置：GPU加速 Cuda+cudnn+opencv+caffe
目录一. 电脑配置: 二. 安装过程 1.安装相关依赖项 2.安装NVIDIA驱动一,下载安装驱动法二．终端直接下载安装驱动法. 3.安装CUDA 4.配置cuDNN 5.安装opencv3.1 ...
深度学习环境配置超详细教程【Anaconda+PyTorch(GPU版)+CUDA+cuDNN】
深度学习环境配置入门深度学习,首先要做的事情就是要搭建深度学习的环境.不管你是Windows用户,Mac用户还是Ubuntu用户,只要电脑配置允许,都可以做深度学习,毕竟Windows.Mac和Ub ...