一、作者简介

Tailin Liang：北京科技大学计算机与通信工程学院

二、文章简介

这是一篇关于神经网络加速的综述，主要关注量化和剪枝部分。

三、正文翻译

摘要

深度神经网络在计算机视觉领域有着广泛的应用，表现出非凡的能力。然而，复杂的网络架构对高效的实时部署提出了挑战，并需要大量的计算资源和能源成本。这些挑战可以通过诸如网络压缩等优化来克服。本文综述了两种网络压缩方法:剪枝和量化。我们比较了当前的技术，分析了它们的优缺点，为压缩网络提供了指导，并讨论了未来可能的压缩技术。

1.Introduction

深度神经网络(DNNs)在图像分类、目标检测、语音合成、语义分割等复杂应用中表现出了非凡的能力[129]。最近的神经网络设计已经证明了人类水平的能力，但代价是明显更多的参数和计算复杂度。目前的DNNs有很多参数，训练[26]非常耗时。在嵌入式环境中部署参数较多的大型网络也比较困难。当移动权重、数据计算单元(CUs)和内存时，带宽成为一个限制因素。由于这些网络的设计冗余，它们的压缩精度几乎不受影响[215]。
图1显示了三种可能导致过度参数化的设计考虑:1)网络结构，2)网络优化，以及3)硬件加速器设计。它们的目标是卷积神经网络(CNNs)，但也与DNNs相关。

网络结构包括三个部分:全新的网络组件，网络架构搜索，和知识蒸馏。全新组件设计是设计高效的组件，例如可分离卷积、inceptionblocks、残差块等。它们将在2.4节中详细介绍。全连接神经网络在神经元之间需要N*N个连接。前馈神经网络只考虑向前路径的连接，将参数减少到N个，新的组件可以进一步减少连接。网络架构搜索(NAS)[60]，也被称为网络自动搜索，从一个大型预定义搜索空间以编程方式搜索高效的网络结构。对每个生成的架构都应用一个评估器。虽然计算耗时，但最终架构的性能往往优于手工操作。知识蒸馏(KD)[74,196]是由知识转移[27]演化而来的。目标是生成一个更简单的压缩模型，它的功能和更大的模型一样。KD培训了一个试图模仿教师网络的学生网络。学生网络通常比老师小，但并不总是这样。训练有素的学生模型在计算上应该比教师模型更简单。
网络优化[128]包括计算卷积优化、参数分解、网络剪枝和网络量化。卷积运算比完全连接的计算更有效，因为它们通过将三维张量作为输入来保持高维信息，而不是将它们平铺成向量，卷积层也比完全连接层(FCLs)需要更少的系数。计算卷积优化包括基于快速傅里叶变换(FFT)的卷积[158]，Winograd卷积[126]和流行的图像到列(im2col)[34]方法。我们将在2.3节详细讨论im2col，因为它与一般的修剪技术高度相关。参数分解是在核张量存在冗余这一共识下工作的。它是一种将高阶张量分解为低阶张量的技术，可简化内存访问和压缩模型大小。因式分解可以应用于卷积滤波器和全连接滤波器。该技术也可用于量化[229]，并在第4节中讨论。网络剪枝[191,24,12,241]涉及到删除不影响网络精度的参数。修剪被广泛描述。网络量化[123,81]涉及到用缩减的宽度类型替换数据类型，例如，用8位整数(INT8)替换32位浮点数(FP32)。通常可以对这些值进行编码，以保存比简单转换类型更多的信息。第4节对量子化进行了广泛的描述。硬件加速器[141,192]主要是为网络加速而设计的。它们包括专门的CPU指令，GPU、ASIC和现场可编程阵列(FPGA)。
本文主要研究了卷积神经网络的网络优化问题。它的组织如下:在第2节中，我们介绍了神经网络，特别是卷积神经网络。我们还描述了一些卷积的网络优化。在第3节中，我们描述了静态和动态修剪技术。在第4节中，我们讨论了量化及其对精度的影响。我们还比较了量化库和框架。然后，我们给出了一些常见网络的量化精度结果。我们在第5节给出结论并提供适当应用程序使用的指导。最后，我们在第6节提出结束语。

[论文翻译]Pruning and Quantization for Deep Neural Network Acceleration: A Survey相关推荐

【那些年我们一起看过的论文】之《ENet: A Deep Neural Network Architecture for Real-Time Semantic Segmentation》
/* 天下武功,唯快不破.要想在移动终端或者嵌入式系统上应用,小巧高速是很重要的.ENet在追求高效率的同时兼顾了精度,站在巨人的肩膀上,综合了很多特色的网络结构,并在输入端首先加以压缩达到加速的目的 ...
论文笔记 A Spatial-Temporal Decomposition Based Deep Neural Network for TimeSeries Forecasting
0 abstract 空间时间序列预测问题出现在广泛的应用中,如环境和交通问题.由于存在特定的空间.短期和长期模式,以及维度的诅咒,这些问题具有挑战性. 在本文中,我们提出了一个用于大规模空间时间序列 ...
论文阅读-《Towards a Robust Deep Neural Network in Texts: A Survey》
论文下载地址:https://arxiv.org/pdf/2004.13820v1.pdf 摘要深度神经网络(DNN)在各种任务(例如图像分类,语音识别和自然语言处理)中均取得了显著成功.但是,研究 ...
55——SPNet: A novel deep neural network for retinal vessel segmentation basedon shared decoder and p
论文信息:SPNet: A novel deep neural network for retinal vessel segmentation based on shared decoder and ...
论文翻译：2022_PACDNN: A phase-aware composite deep neural network for speech enhancement
论文地址:PACDNN:一种用于语音增强的相位感知复合深度神经网络相似代码:https://github.com/phpstorm1/SE-FCN 引用格式:Hasannezhad M,Yu H,Z ...
【模型压缩】Channel Pruning for Accelerating Very Deep Neural Networks算法笔记
转:https://blog.csdn.net/u014380165/article/details/79811779 论文:Channel Pruning for Accelerating Very ...
论文翻译阅读——Facial Emotion RecognitionUsing Deep Learning:Review And Insights
文章目录 Abstract Introduction Facial Available Databases Facial Emotion Recognition Using Deep Learning ...
BERT(一)--论文翻译：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
转载请注明出处:https://blog.csdn.net/nocml/article/details/124860490 传送门: BERT(一)–论文翻译:BERT: Pre-training o ...
论文阅读（XiangBai——【AAAI2017】TextBoxes_A Fast Text Detector with a Single Deep Neural Network）...
XiangBai--[AAAI2017]TextBoxes:A Fast Text Detector with a Single Deep Neural Network 目录作者和相关链接方法概括 ...

[论文翻译]Pruning and Quantization for Deep Neural Network Acceleration: A Survey

文章目录

一、作者简介

二、文章简介

三、正文翻译

摘要

1.Introduction

[论文翻译]Pruning and Quantization for Deep Neural Network Acceleration: A Survey相关推荐

最新文章

热门文章