训练神经网络gpu占用率低,外接gpu 训练神经网络

为什么要用GPU来训练神经网络而不是CPU?

许多现代神经网络的实现基于GPU，GPU最初是为图形应用而开发的专用硬件组件。所以神经网络收益于游戏产业的发展。

中央处理器（central processing unit，简称CPU）作为计算机系统的运算和控制核心，是信息处理、程序运行的最终执行单元。

CPU自产生以来，在逻辑结构、运行效率以及功能外延上取得了巨大发展。CPU出现于大规模集成电路时代，处理器架构设计的迭代更新以及集成电路工艺的不断提升促使其不断发展完善。

从最初专用于数学计算到广泛应用于通用计算。从4位到8位、16位、32位处理器，最后到64位处理器，从各厂商互不兼容到不同指令集架构规范的出现，CPU 自诞生以来一直在飞速发展。

冯诺依曼体系结构是现代计算机的基础。在该体系结构下，程序和数据统一存储，指令和数据需要从同一存储空间存取，经由同一总线传输，无法重叠执行。

根据冯诺依曼体系，CPU的工作分为以下 5 个阶段：取指令阶段、指令译码阶段、执行指令阶段、访存取数和结果写回。

谷歌人工智能写作项目：神经网络伪原创

gpu构架为什么更适合发展神经网络

因为神经网络这种大范围多任务的简单运算来说，正好符合GPU这种多核架构，比如你CPU20核心，同时处理20个任务好文案。但是神经网络可能有20000个任务（比喻）。

但最近比较有代表性的GPU-Nvidia的新TITAN-X，CUDA核心就达到了3584个，速度就不言而喻了。但是CPU的核心性能比GPU的性能强大，就好比教授和高中老师的区别。

所以在神经网络训练当中，简单训练由CUDA完成，复杂训练和综合由CPU辅助完成汇总。

这样任务被分开同时进行，平时需要训练几十天的项目可能现在几个小时就可以完成，这就是为什么GPU架构更适合神经网络并且深度学习在近年大火的原因，就是因为GPU架构解决了当初没有解决的效率问题。

深度学习用cpu训练和用gpu训练有什么区别？

1、深度学习用cpu训练和用gpu训练的区别（1）CPU主要用于串行运算；而GPU则是大规模并行运算。由于深度学习中样本量巨大，参数量也很大，所以GPU的作用就是加速网络运算。

（2）CPU算神经网络也是可以的，算出来的神经网络放到实际应用中效果也很好，只不过速度会很慢罢了。而目前GPU运算主要集中在矩阵乘法和卷积上，其他的逻辑运算速度并没有CPU快。

2、深度学习深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。深度学习是机器学习中一种基于对数据进行表征学习的方法。

观测值（例如一幅图像）可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。

使用神经网络训练，一个最大的问题就是训练速度的问题，特别是对于深度学习而言，过多的参数会消耗很多的时间，在神经网络训练过程中，运算最多的是关于矩阵的运算，这个时候就正好用到了GPU，GPU本来是用来处理图形的，但是因为其处理矩阵计算的高效性就运用到了深度学习之中。

深度学习对硬件的要求

之前热衷于学习理论知识，目前想跑代码了发现不知道从何下手，自己电脑上搭建的平台基本就是个摆设，因为跑不起来呀。今天我们就来看看想做深度学习应该怎么下手。

首先了解下基础知识：1、深度学习用cpu训练和用gpu训练的区别（1）CPU主要用于串行运算；而GPU则是大规模并行运算。由于深度学习中样本量巨大，参数量也很大，所以GPU的作用就是加速网络运算。

目前来讲有三种训练模型的方式：1. 自己配置一个“本地服务器”，俗称高配的电脑。这个选择一般是台式机，因为笔记本的“高配”实在是太昂贵了，同一个价格可以买到比笔记本好很多的配置。

如果是长期使用，需要长期从事深度学习领域的研究，这个选择还是比较好的，比较自由。① 预算一万以内的机器学习台式机/主机配置：② 从李飞飞的课程里，可以看到她的电脑配置，这个配置是机器学习的基本设置。

内存：4X8G 显示卡：两个NV GTX 1070硬盘： HDD一个， SSD两个③ 配置主机需要了解的参数（在上一篇博客中已经详细介绍了各个参数的含义）：GPU：一个好的GPU可以将你的训练时间从几周缩减成几天，所以选GPU一定要非常慎重。

可以参看GPU天梯榜，都是一些比较新的型号具有很强的性能。在英伟达产品系列中，有消费领域的GeForce系列，有专业绘图领域的Quadro系列，有高性能计算领域的Tesla系列，如何选择？

有论文研究，太高的精度对于深度学习的错误率是没有提升的，而且大部分的环境框架都只支持单精度，所以双精度浮点计算是不必要，Tesla系列都去掉了。

从显卡效能的指标看，CUDA核心数要多，GPU频率要快，显存要大，带宽要高。这样，最新Titan X算是价格便宜量又足的选择。CPU：总的来说，你需要选择一个好的GPU，一个较好的CPU。

作为一个高速的串行处理器，常用来作为“控制器”使用，用来发送和接收指令，解析指令等。

由于GPU内部结构的限制，使得它比较适合进行高速的并行运算，而并不适合进行快速的指令控制，而且许多的数据需要在GPU和CPU之间进行存取，这就需要用到CPU，因为这是它的强项。

内存条：主要进行CPU和外设之间的数据交换，它的存取速度要比硬盘快好几倍，但是价格比较昂贵，通常会和容量成正比。

内存大小最起码最起码最起码要大于你所选择的GPU的内存的大小（最好达到显存的二倍，当然有钱的话越大越好）。在深度学习中，会涉及到大量的数据交换操作（例如按batch读取数据）。

当然你也可以选择将数据存储在硬盘上，每次读取很小的batch块，这样你的训练周期就会非常长。

常用的方案是“选择一个较大的内存，每次从硬盘中读取几个batch的数据存放在内存中，然后进行数据处理”，这样可以保证数据不间断的传输，从而高效的完成数据处理的任务。

电源问题：一个显卡的功率接近300W，四显卡建议电源在1500W以上，为了以后扩展，可选择更大的电源。固态硬盘：作为一个“本地存储器”，主要用于存储各种数据。由于其速度较慢，价格自然也比较便宜。

建议你选择一个较大容量的硬盘，通常会选择1T/2T。一个好的方法是：“你可以利用上一些旧的硬盘，因为硬盘的扩展十分简单，这样可以节省一部分资金。”

神经网络做图像分类一定要用到gpu吗？

GPU最大的价值一直是“accelerating”(加速)，GPU不是取代CPU，而是利用GPU的并行计算架构，来将并行计算的负载放到GPU上来处理从而极大的提升处理速度。

GPU本质上在异构计算架构上属于协处理器，常见的协处理器除了GPU，还有TPU、FPGA、ASIC等。神经网络图像分割，有很多适合GPU来做并行处理的算法。

而GPU相较于其它加速协处理芯片，有更好的可编程性。NVIDIA在GPU加速计算领域发展多年，已经形成了非常好的软件生态。

目前在深度学习的训练端，GPU的应用和部署已经极为普遍，说是标准配置也不为过。在推理端，NVIDIA也有布局T4 GPU卡。深度神经网络用GPU相较纯CPU，能够提速几百倍，所以还是推荐GPU。

关于负载如何搭配硬件配置，选用什么型号的GPU卡还是可以咨询下英伟达官方授权的代理商-思腾合力，我想在这方面思腾合力会帮助到你的。

Matlab 里的神经网络可以直接使用Nvidia的GPU加速吗

ee philip，可以，参看：Accelerated Training and Large Data Sets不过我没有用过Matlab+GPU，如果是CPU多线程的话直接设置worker数量就可以了，GPU需要另外学习一套函数。