（摘要）ICLR 2017 神经网络压缩，Incremental Network Quantization: Towards Lossless CNNs with Low-Precision Weig

原文

原文：https://arxiv.org/abs/1702.03044
代码：https://github.com/Zhouaojun/Incremental-Network-Quantization

摘要

Incremental Network Quantization(INQ)是一种神经网络压缩方法。它以已训练的任意全精度网络作为输入，输出权值为0或2的整数次幂的网络。
通过以下两个创新点，能有效解决压缩型网络准确率下降太多的问题。一方面，网络生成由三个相互依赖的操作组成，包括a）权值分割，b）分组量化和c）再训练。每一层的权重被分成两组，一组被量化，另一组被再训练以补偿第一组量化带来的精度损失。另一方面，以上三个操作不断迭代训练网络，直到所有的权重都被压缩。
用ImageNet库进行测试，测试了AlexNet，VGG-16，GoogleNet和ResNets（18和50），在5位量化的测试中，准确率均较32位浮点型有所提高。此外，以ResNet-18为例，在4位、3位和2位的量化中，其准确率与32位浮点的精度相类似。
此外，网络裁剪和INQ结合也有很好的效果。
使用INQ有望使深度学习神经网络在移动或者嵌入式设备中得到应用。

（摘要）ICLR 2017 神经网络压缩，Incremental Network Quantization: Towards Lossless CNNs with Low-Precision Weig相关推荐

INQ 论文解读：Incremental Network Quantization: Towards Lossless CNNs with Low-Precision Weights
这篇论文是ICLR 2017的一篇量化相关的论文.本文提出了一种渐进式量化的方法( INQ ):先分组量化,然后冻结已量化的部分并训练未量化的部分,重复以上步骤多次直到所有权重都被量化.这种渐进式量化 ...
INCREMENTAL NETWORK QUANTIZATION: TOWARDS LOSSLESS CNNS WITH LOW-PRECISION WEIGHTS
在量化方面已经有很多工作了,其中一个是用每个FC层的浮点的聚类中心值来代替所有权重值,可以获得20X的压缩率,以及在top-上1%的精度损失:hash网则将所有权重放入哈希桶内,且所有共享哈希桶的权重 ...
DNN模型压缩：深度神经网络压缩论文总结
1.HanS, Mao H, Dally W J. Deep Compression: Compressing Deep NeuralNetworks with Pruning, Trained Qu ...
2021 神经网络压缩（李宏毅
首先,为什么需要对神经网络模型进行压缩呢?我们在之前的课程中介绍过很多大型的深度学习模型,但当我们想要将这些大模型放在算力比较小的边缘设备或者其他IoT设备里面,就需要对大模型进行压缩. Lower ...
机器学习笔记—13（李宏毅版）神经网络压缩与元学习
神经网络压缩一直使用云端的话,速度太慢了.并且使用云端不够私密.要在设备上直接进行智能计算,就需要神经网络压缩. network pruning,训练一个大的神经网络-->然后评估每个参数或神 ...
【论文阅读笔记】Incremental Network Quantizatio：Towards Lossless CNNs with Low-Precision Weights
全文概括先前的量化方法(同时量化所有的weight)都太粗暴了,这导致了量化损失严重,作者提出一种分组量化-分组re-train的方法来拟补量化带来的损失. INQ方法步骤: 将为量化的参数 ...
【1】谷歌2021模型量化白皮书《A White Paper on Neural Network Quantization》
2021 Google模型量化白皮书摘要引言模型量化的理论基础硬件背景均匀仿射量化对称均匀量化 2的幂次方量化量化粒度量化模拟 Batch normalization folding ...
深度神经网络压缩与加速总结
深度神经网络压缩与加速综述 1. 深度神经网络压缩与加速的任务 2. 模型压缩与加速方法 (1) 参数剪枝 (2) 参数共享 (3) 低秩分解 (4) 紧性滤波设计 (5) 知识蒸馏 3. 深度神经网 ...
Intel发布神经网络压缩库Distiller：快速利用前沿算法压缩PyTorch模型
Intel发布神经网络压缩库Distiller:快速利用前沿算法压缩PyTorch模型原文:https://blog.csdn.net/u011808673/article/details/8079 ...

（摘要）ICLR 2017 神经网络压缩，Incremental Network Quantization: Towards Lossless CNNs with Low-Precision Weig

目录

原文

摘要

（摘要）ICLR 2017 神经网络压缩，Incremental Network Quantization: Towards Lossless CNNs with Low-Precision Weig相关推荐

最新文章

热门文章