深度学习（机器学习）模型压缩开源库整理

最近由于项目要求，需要对模型进行压缩，查了一下都有哪些开源出来的模型压缩开源库，然后看到原作者已经总结得挺好的，值得学习！！！

Tensorflow Lite：https://tensorflow.google.cn/lite
mxnet - TVM RPC对接移动设备的框架
EAIDK 搭载了 OPEN AI LAB 的核心 AI 开发平台 AID；和②的目标多少有些类似，将面向移动端的接口全部封装。类似于树莓派、arduino甚至安卓将硬件可编程话，一定程度上的封装后，AI方向的需求也开始被封装了。
mxnet自带量化模块
ncnn腾讯的移动端开源框架：https://github.com/Tencent/ncnn
pocketFlow 腾讯的专门用于模型压缩的框架
pytorch的tensor-Decomposition
一种量化库：Espresso: Efficient Forward Propagation for BCNNs
Distiller：https://github.com/NervanaSystems/distiller
Tengine：https://github.com/OAID/Tengine 用于移动端设备
大厂的发力

Nvidia的tensorRT，这里不能忽略一个有相当的集成度的框架，NVcaffe，可剪枝与量化，nvidia维护的caffe版本

facebook的Glow，用于推测时inference，集成于pytorch中

intel的模型压缩开源框架：neon

处理稀疏矩阵的加速器TCL（Bit-Tactical: Exploiting Ineffectual Computations in Convolutional Neural Networks: Which, Why, and How）

谷歌的TPU-流形的数据处理硬件；这俩都是另外一个方向，重新设计新的硬件，小伙伴们看看热闹就好了

模型压缩综述文章

1. Recent Advances in Efficient Computation of Deep Convolutional Neural Networks

比较系统的论述了各种模型压缩的方法，分类更倾向于从结果的不同、或者导出结果不同的方式方法进行区分，这种方式也更接近于一般人的认知水平和方式。好处也就是引用代表性论文要多些。

2. compression of convolutional neural networks a short survey

这篇的分类这更倾向于从方法的本源出发，基于方法的形式或性质；抽象度要高一些。缺点就是太短了，应该是有相当的理解才能写出来这样的文章。对异构网络结构的论述的引用好像更冷门一些

转载：https://blog.csdn.net/daniaokuye/article/details/82746661

深度学习（机器学习）模型压缩开源库整理相关推荐

PyTorch 深度学习模型压缩开源库（含量化、剪枝、轻量化结构、BN融合）
点击我爱计算机视觉标星,更快获取CVML新技术本文为52CV群友666dzy666投稿,介绍了他最近开源的PyTorch模型压缩库,该库开源不到20天已经收获 219 颗星,是最近值得关注的模型压缩 ...
太空夜景_太空深度学习的模型压缩技术概述
太空夜景 By Hannah Peterson and George Williams (gwilliams@gsitechnology.com) 汉娜·彼得森 ( Hannah Peterson)和 ...
如何给深度学习加速——模型压缩、推理加速
深度学习模型往往受到端计算力的限制,无法很好的部署在移动端或无法降低端的计算成本.例如自动驾驶的模型就过于巨大,而且往往是很多模型并行,所以一般会用一些加速的方法来降低推算的计算力要求. 加速方法有多 ...
【深度学习】模型部署的错误整理
目录 Pytorch部署错误 jetson nano部署错误 Pytorch以及其他框架部署错误 1_错误1:torch.nn.modules.module.ModuleAttributeError: ...
暑期科研见习总结：移动设备上的深度学习与模型剪枝初探
本次暑期科研见习,我有机会初步了解了人工智能的深度学习和模型压缩的基本内容,并在移动设备(树莓派3B)上进行了一些简单的深度学习模型训练.在见习结束之际,总结一下这次学习的内容,也期待之后能够继续在相 ...
深度学习机器学习面试题汇——模型优化，轻量化，模型压缩
深度学习机器学习面试题汇--模型优化,轻量化,模型压缩提示:互联网大厂可能考的面试题若CNN网络很庞大,在手机上运行效率不高,对应模型压缩方法有了解吗介绍一下模型压缩常用的方法?为什么用知识蒸馏 ...
深度学习实战——模型推理优化（模型压缩与加速）
忆如完整项目/代码详见github:https://github.com/yiru1225(转载标明出处勿白嫖 star for projects thanks) 目录系列文章目录一.实验思路综 ...
[面试笔试整理1]：深度学习机器学习面试问题准备（必会）
此系列三篇文章的原文链接面试笔试整理1:深度学习机器学习面试问题准备(必会) 1.神经网络基础问题 (1)Backpropagation(要能推倒) 后向传播是在求解损失函数L对参数w求导时候用到的 ...
ML/DL：关于机器学习、深度学习算法模型的选择
ML/DL:关于机器学习.深度学习算法模型的选择目录算法思路算法思路更新--

深度学习（机器学习）模型压缩开源库整理

深度学习（机器学习）模型压缩开源库整理相关推荐

最新文章

热门文章