@[TOC](2018：MIXED PRECISION TRAINING OF CONVOLUTIONAL NEURAL NETWORKS USING INTEGER OPERATIONS(利用整数运算对卷积神经网络进行混合精度训练)论文阅读—未完待续！！！)

Abstract

用于混合精度训练的最先进的(SOTA)主要是各种低精度浮点运算，特别是FP16积累为FP32 Micikevicius等人(2017)。另一方面，虽然在低精度和混合精度Integer训练领域也发生了很多研究，但这些工作要么针对非sota网络(例如仅针对ImageNet-1K的AlexNet)，要么针对相对较小的数据集(如cipf -10)。在这项工作中，我们在ImageNet-1K数据集上训练最先进的视觉理解神经网络，并在通用(GP)硬件上使用Integer操作。特别地，我们关注整数融合乘加(FMA)操作，它接受两对INT16操作数并将结果累积为INT32输出。我们提出了张量的共享指数表示，并开发了一种适用于常见神经网络操作的动态不动点(DFP)方案。研究了开发高效整数卷积核的细微差别，包括处理INT32累加器溢出的方法。实现ResNet-50、GoogLeNet-v1、VGG-16、AlexNet的CNN训练;这些网络在与FP32相同的迭代次数内达到或超过SOTA精度，而超参数没有任何变化，端到端训练吞吐量提高了1.8倍。据我们所知，这些结果代表了第一个使用SOTA cnn的GP硬件ImageNet-1K数据集的INT16训练结果，并使用半精度表示实现了最高的报告精度。

2018：MIXED PRECISION TRAINING OF CONVOLUTIONAL NEURAL NETWORKS USING INTEGER OPERATIONS利用整数运算对卷积神经网络相关推荐

Convolutional Neural Networks for Sentence Classification用于句子分类的卷积神经网络
Convolutional Neural Networks for Sentence Classification 论文任务:用卷积神经网络(CNN)在预先训练好的词向量上进行句子级分类任务论文借用 ...
[论文翻译]测试时数据增强(TTA):Automatic Brain Tumor Segmentation using Convolutional Neural Networks with TTA
论文下载: 地址 Automatic Brain Tumor Segmentation using Convolutional Neural Networks with Test-Time Augme ...
ImageNet Classification with Deep Convolutional Neural Networks论文翻译——中文版
文章作者:Tyan 博客:noahsnail.com | CSDN | 简书翻译论文汇总:https://github.com/SnailTyan/deep-learning-papers- ...
翻译： Deep Convolutional Neural Networks for Breast Cancer Histology Image Analysis
翻译: Deep Convolutional Neural Networks for Breast Cancer Histology Image Analysis(深度卷积神经网络在乳腺癌组织学图像分 ...
吴恩达深度学习笔记——卷积神经网络（Convolutional Neural Networks）
深度学习笔记导航前言传送门卷积神经网络(Convolutional Neural Networks) 卷积神经网络基础(Foundations of Convolutional Neural N ...
深度学习之卷积神经网络(Convolutional Neural Networks, CNN)
前面, 介绍了DNN及其参数求解的方法(深度学习之 BP 算法),我们知道DNN仍然存在很多的问题,其中最主要的就是BP求解可能造成的梯度消失和梯度爆炸.那么,人们又是怎么解决这个问题的呢?本节的卷积 ...
Mixed Precision Training混合精度训练笔记及框架代码
Mixed Precision Training paper:https://arxiv.xilesou.top/abs/1710.03740 摘要: 增加神经网络的大小通常可以提高准确性,但同时也增 ...
Flexpoint: An Adaptive Numerical Format for Efficient Training of Deep Neural Networks:弯曲点：一种有效训练深度神
2017.:Flexpoint: An Adaptive Numerical Format for Efficient Training of Deep Neural Networks:弯曲点:一种有 ...
Learning to Compare Image Patches via Convolutional Neural Networks
Paper : Learning to Compare Image Patches via Convolutional Neural Networks Code : 摘要个人认为,本文在孪生神经网络 ...

2018：MIXED PRECISION TRAINING OF CONVOLUTIONAL NEURAL NETWORKS USING INTEGER OPERATIONS利用整数运算对卷积神经网络

Abstract

2018：MIXED PRECISION TRAINING OF CONVOLUTIONAL NEURAL NETWORKS USING INTEGER OPERATIONS利用整数运算对卷积神经网络相关推荐

最新文章

热门文章