29.深度学习模型压缩方法-3

29.1 后端压缩

（1）低秩近似

在卷积神经网络中，卷积运算都是以矩阵相乘的方式进行
对于复杂网络，权重矩阵往往非常大，非常消耗存储和计算资源
- 低秩近似就是用若干个低秩矩阵组合重构大的权重矩阵，以此降低存储和计算资源消耗。

事项	特点
优点	可以降低存储和计算消耗；一般可以压缩2-3倍；精度几乎没有损失；
缺点	模型越复杂，权重矩阵越大，利用低秩近似重构参数矩阵不能保证模型的性能；超参数的数量随着网络层数的增加呈线性变化趋势，例如中间层的特征通道数等等。随着模型复杂度的提升，搜索空间急剧增大。

（2）未加限制的剪枝

完成训练后，不加限制地剪去那些冗余参数。

事项	特点
优点	保持模型性能不损失的情况下，减少参数量9-11倍；剔除不重要的权重，可以加快计算速度，同时也可以提高模型的泛化能力；
缺点	极度依赖专门的运行库和特殊的运行平台，不具有通用性；压缩率过大时，破坏性能；

（3）参数量化

神经网络的参数类型一般是32位浮点型，

29.深度学习模型压缩方法-3相关推荐

深度学习模型压缩方法（3）-----模型剪枝（Pruning）
link 前言上一章,将基于核的稀疏化方法的模型压缩方法进行了介绍,提出了几篇值得大家去学习的论文,本章,将继续对深度学习模型压缩方法进行介绍,主要介绍的方向为基于模型裁剪的方法,由于本人主要研究的 ...
深度学习模型压缩方法综述（二）
深度学习模型压缩方法综述(一) 深度学习模型压缩方法综述(二) 深度学习模型压缩方法综述(三) 前言上一章,将基于核的稀疏化方法的模型压缩方法进行了介绍,提出了几篇值得大家去学习的论文,本章,将继续 ...
深度学习模型压缩方法（1）-----综述
展开 1.研究背景对模型预测精度无明显影响压缩模型的参数数量.深度来降低模型空间复杂度全连接层参数多,模型大小由全连接层主导不显著提高训练时间复杂度,降低预测时间复杂度(计算量) 卷积层计算量 ...
28.深度学习模型压缩方法-2
28.1 典型剪枝方法对比剪枝方法修剪对象修剪方式效果 Deep Compression 权重随机修剪 50倍压缩 Structured Pruning 权重组稀疏+排他性稀疏性能提升 ...
深度学习模型压缩方法
向AI转型的程序员都关注了这个号
深度学习模型压缩与加速综述！
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货作者:Pikachu5808,编辑:极市平台来源丨https://zh ...
腾讯 AI Lab 正式开源PocketFlow自动化深度学习模型压缩与加速框架
11月1日,腾讯AI Lab在南京举办的腾讯全球合作伙伴论坛上宣布正式开源"PocketFlow"项目, 该项目是一个自动化深度学习模型压缩与加速框架,整合多种模型压缩与加速算法并 ...
一文看懂深度学习模型压缩和加速
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自:opencv学堂 1 前言近年来深度学习模型在计算机视 ...
端上智能——深度学习模型压缩与加速
摘要:随着深度学习网络规模的增大,计算复杂度随之增高,严重限制了其在手机等智能设备上的应用.如何使用深度学习来对模型进行压缩和加速,并且保持几乎一样的精度?本文将为大家详细介绍两种模型压缩算法,并展示 ...

29.深度学习模型压缩方法-3

29.1 后端压缩

29.深度学习模型压缩方法-3相关推荐

最新文章

热门文章