GPU和CPU的区别

设计目标
CPU：处理各种不同的数据类型，同时又要逻辑判断又会引入大量的分支跳转和中断的处理
GPU：处理类型高度统一的、相互无依赖的大规模数据，不需要被打断的纯净的计算环境

GPU的主要参数解读

显存占用
GPU利用率

核心(显示芯片)
性能好坏直接决定了显卡性能的好坏
主要任务就是处理系统输入的视频信息并将其进行构建、渲染等工作

核心频率
显示核心的工作频率
其工作频率在一定程度上可以反映出显示核心的性能

显存位宽
显存在一个时钟周期内所能传送数据的位数
位数越大则瞬间所能传输的数据量越大
显存的重要参数之一

显存频率
指默认情况下，显存在显卡上工作时的频率，以MHz（兆赫兹）为单位
显存频率一定程度上反应着该显存的速度
显存频率随着显存的类型、性能的不同而不同

显存大小
当模型越大或者训练时的批量越大时，所需要的显存就越多。

FLOPS
每秒浮点运算次数（亦称每秒峰值速度）是每秒所运行的浮点运算次数（英语：Floating-point operations per second；缩写：FLOPS）的简称，被用来估算电脑性能，尤其是在使用到大量浮点运算的科学计算领域中。

计算公式
MAX_FLOPS = cuda_cores * ((no of mul-add units*2) + ( no of mul units)) * clock speed in Hertz
no of mul-add units: ALU，计算乘法和加法，一秒可以执行一次乘法和一次加法
no of mul units: floating point unit, FPU, 一秒可以执行一次乘法

pytorch中使用GPU

模型转为cuda
数据转为cuda
输出数据去cuda，转为numpy

1+2

3

本主流GPU的选择

天梯排名

截止到 2020 年 2 月份，只有以下这几种 GPU 可以训练所有业内顶尖的语言和图像模型：
RTX 8000：48GB 显存，约 5500 美元
RTX 6000：24GB 显存，约 4000 美元
Titan RTX：24GB 显存，约 2500 美元
以下 GPU 可以训练大多数 SOTA 模型，但不是所有模型都能：
RTX 2080Ti：11GB 显存，约 1150 美元
RTX 1080Ti：11GB 显存，约 800 美元（二手）
RTX 2080：8GB 显存，约 720 美元
RTX 2070:8GB 显存，约 500 美元

性价比的角度

要你喜欢

最佳GPU：RTX 2070
避免的坑：所有Tesla、Quadro、创始人版（Founders Edition）的显卡，还有Titan RTX、Titan V、Titan XP
高性价比：RTX 2070（高端），RTX 2060或GTX 1060 (6GB)（中低端）
穷人之选：GTX 1060 (6GB)
破产之选：GTX 1050 Ti（4GB），或者CPU（原型）+ AWS / TPU（训练），或者Colab
Kaggle竞赛：RTX 2070
计算机视觉或机器翻译研究人员：采用鼓风设计的GTX 2080 Ti，如果训练非常大的网络，请选择RTX Titans
NLP研究人员：RTX 2080 Ti
已经开始研究深度学习：RTX 2070起步，以后按需添置更多RTX 2070
尝试入门深度学习：GTX 1050 Ti（2GB或4GB显存）

GPU概述_CodingPark编程公园相关推荐

数据分析调研报告_CodingPark编程公园
文章结构速览关系梳理数据挖掘:从海量数据中找到隐藏的规则,数据分析:待分析的目标比较明确数据分析更侧重业务,一般分析的目标比较明确,重点在观察数据,得出结论: 数据挖掘更侧重技术,利用统计学/机 ...
命名实体识别_CodingPark编程公园
基本概念概述命名实体文本中有一些描述实体的词汇.比如人名.地名.组织机构名.股票基金.医学术语等,称为命名实体.具有以下共性: 数量无穷.比如宇宙中的恒星命名.新生儿的命名不断出现新组合. 构词 ...
人工智能中神经网络与自然语言处理共生关系_CodingPark编程公园
文章目录神经网络知识大串联 1:第一代的神经元模型 3 2:从M-P模型到感知器模型 3 3:前馈神经网络 3 4:后向传播与BP算法神经网络 4 5:深度神经网络DNN 4 6:卷积神经网络CNN ...
Gensim库生成与导入W2V模型_CodingPark编程公园
Gensim库生成与导入W2V模型语料目录 gensim函数库Word2Vec配置参数 gensim.models.word2vec.Word2Vec(sentences=None,size=100 ...
Linux压缩｜解压_CodingPark编程公园
文章介绍本文主要介绍: Linux的基础参数 Linux压缩 Linux解压缩基础参数 tar - 5大参数 -c:压缩 -x:解压 -t:查看内容 -r:向压缩归档文件末尾追加文件 -u:更新原 ...
anaconda-navigaotr出现adding featured channels并无法正常打开_CodingPark编程公园
问题 navigator无法打开.停在adding featured channels状态下. 解决在mac终端下更新navigator 输入 conda install navigator 即可解 ...
谈谈池化吧！_CodingPark编程公园
引子下采样和池化应该是包含关系,池化属于下采样,而下采样不局限于池化,如果卷积 stride=2,此时也可以把这种卷积叫做下采样. 池化通常池化层紧跟在 CNN 的卷积层之后. 池化方法: max ...
词性标注_CodingPark编程公园
基本概念什么是词性在语言学上,词性(Par-Of-Speech, Pos )指的是单词的语法分类,也称为词类.同一个类别的词语具有相似的语法性质,所有词性的集合称为词性标注集.不同的语料库采用了不 ...
NLP高频面试_CodingPark编程公园
NLP高频面试 1.LSTM 画图,写公式计算一层的参数量假设lstm层的一个时间点上的输入特征长度是n,输出长度是m, 那么参数量是4*((n+m)*m+m) https://www.cnblo ...

GPU概述_CodingPark编程公园