深度学习训练吃显卡_学习深度学习，如何选购显卡？

学习深度学习，显卡(GPU)可以说是比不可少的投资。本文试图探究哪个GPU才是学习入门性价比最高的？

为什么深度学习需要GPU？

我们先来比较一下CPU和GPU的不同，下图是一个简化的处理器内部结构图DRAM即动态随机存取存储器，是常见的系统内存。

Cache存储器：电脑中作高速缓冲存储器，是位于CPU和主存储器DRAM之间，规模较小，但速度很高的存储器。

ALU算术逻辑单元是能实现多组算术运算和逻辑运算的组合逻辑电路。

我们可以很明显地看出，GPU拥有更多ALU，能够进行强大的计算。CPU是一个有多种功能的优秀领导者，优点在于调度、管理、协调能力强，计算能力则位于其次。GPU相当于一个接受CPU调度的“拥有大量计算能力”的员工。

深度学习需要进行大量的矩阵运算，GPU刚好满足了这一要求。同时GPU还有其他优点：高带宽：CPU更擅长于快速获取少量的内存，GPU则更擅长于获取大量的内存

多线程并行：GPU提供了多核并行计算的基础结构，且核心数非常多，可以支撑大量数据的并行计算。并行计算或称平行计算是相对于串行计算来说的。它是一种一次可执行多个指令的算法，目的是提高计算速度，及通过扩大问题求解规模，解决大型而复杂的计算问题

如何选购显卡？

针对不同深度学习架构，GPU参数的选择优先级是不一样的，总体来说分两条路线：

卷积网络和Transformer：张量核心(GPU)>FLOPs(每秒浮点运算次数)>显存带宽>16位浮点计算能力

循环神经网络：显存带宽>16位浮点计算能力>张量核心(GPU)>FLOPs

Tim Dettmers对比了各个厂商的显卡，绘制了下图：

总之，根据量子位对Tim Dettmers博文的翻译，在GPU的选择上有三个原则：使用GTX 1070或更好的GPU；

购买带有张量核心的RTX GPU；

在GPU上进行原型设计，然后在TPU或云GPU上训练模型。

针对不同研究目的、不同预算，Tim给出了如下的建议：最佳GPU：RTX 2070

避免的坑：所有Tesla、Quadro、创始人版(Founders Edition)的显卡，还有Titan RTX、Titan V、Titan XP

高性价比：RTX 2070(高端)，RTX 2060或GTX 1060 (6GB)(中低端)

穷人之选：GTX 1060 (6GB)

破产之选：GTX 1050 Ti(4GB)，或者CPU(原型)+ AWS / TPU(训练)，或者Colab

Kaggle竞赛：RTX 2070

计算机视觉或机器翻译研究人员：采用鼓风设计的GTX 2080 Ti，如果训练非常大的网络，请选择RTX Titans

NLP研究人员：RTX 2080 Ti

已经开始研究深度学习：RTX 2070起步，以后按需添置更多RTX 2070

尝试入门深度学习：GTX 1050 Ti(2GB或4GB显存)

更新：2020.09.09

Nvidia出了新显卡，号称半价买泰坦。大家可以看看下面这篇文章

参考

深度学习训练吃显卡_学习深度学习，如何选购显卡？相关推荐

深度学习训练吃显卡_深度学习小钢炮攒机心得：规避一些你看不到的坑
------------------- 已经2017年了,从90年代初的品牌机流行,90年代末的组装机流行,2000-2010桌面级逐渐被移动PC/Mac取代,一直到现在移动终端大行其道,攒机似乎已经 ...
深度学习训练吃显卡_最新最全深度学习训练/GPU服务器硬件配置推荐2020
人工智能随着核心算法.计算能力的迅速提升,以及海量联网数据的支持,在本世纪终于迎来了质的飞跃,人工智能将是未来应用最广泛的技术之一,在市场经济领域带来更多的机遇与机会,在医学领域可以大大加快诊断速度和 ...
深度学习模型建立过程_所有深度学习都是统计模型的建立
深度学习模型建立过程 Deep learning is often used to make predictions for data driven analysis. But what are th ...
判断深度学习模型的稳定性_基于深度学习的三维模型检索算法研究
三维模型检索github项目地址github.com 大量的实验和比赛都证明了深度学习在图像检索中的效果很好,本文也将利用神经网络,研究刚体三维模型检索算法,并借助实验结果,来说明本文提出的网络模型 ...
强化学习q学习求最值_通过Q学习更深入地学习强化学习
强化学习q学习求最值 by Thomas Simonini 通过托马斯·西蒙尼(Thomas Simonini) 通过Q学习更深入地学习强化学习 (Diving deeper into Reinfor ...
零基础学习python入门书_零基础学习Python不可错过的5本书籍
原标题:零基础学习Python不可错过的5本书籍 Python作为目前编程开发的主流语言之一,在企业中的应用范围越来越广,广阔的发展前景吸引了很多小伙伴想要入行Python,下面小U就为大家介绍一下零 ...
学习理发去哪里_去哪里学习美发好
美发行业日新月异,随着整个美发市场的时尚潮流不断在变化,现在的美发市场我们只能说还没有国外发展的完全,不论是在技术还是服务上面 2016-07-04 中国最好的美发学校在哪里?美发是我们生活中的重要角 ...
挖矿为什么要用显卡_你知道为什么挖矿用显卡，而不用CPU吗？
大家听说过比特币.挖矿.矿卡.矿机这些名词么?上面这些名词,都是前几年新诞生.或者被重新定义过的新鲜名词,它们其实都跟一个东西息息相关,那就是数字货币. 以比特币为代表的数字货币,带动了区块链技术以及 ...
深度学习训练吃显卡_在深度学习中喂饱GPU
原标题:在深度学习中喂饱GPU 新智元推荐来源:知乎专栏作者:风车车 [新智元导读]深度学习模型训练是不是大力出奇迹,显卡越多越好?非也,没有512张显卡,也可以通过一些小技巧优化模型训练.本文作 ...

深度学习训练吃显卡_学习深度学习，如何选购显卡？

深度学习训练吃显卡_学习深度学习，如何选购显卡？相关推荐

最新文章

热门文章

深度学习 训练吃显卡_学习深度学习，如何选购显卡？

深度学习 训练吃显卡_学习深度学习，如何选购显卡？相关推荐

最新文章

热门文章

深度学习训练吃显卡_学习深度学习，如何选购显卡？

深度学习训练吃显卡_学习深度学习，如何选购显卡？相关推荐