基于pytorch的模型剪枝+模型量化+BN合并+TRT部署（cifar数据）（2）

1）量化：High-Bit(>2b): QAT, PTQ, QAFT; Low-Bit(≤2b)/Ternary and Binary: QAT
2）剪枝：正常、规整和分组卷积结构剪枝
3）针对特征(A)二值量化的BN融合(训练量化后，BN参数 —> conv的偏置b)
4）High-Bit量化的BN融合(训练量化中，先融合再量化，融合：BN参数 —> conv的权重w和偏置b)
对比实验如下，相关代码下载地址：下载地址

类型	W(Bits)	A(Bits)	Acc	GFLOPs	Para(M)	Size(MB)	压缩率	损失
原模型(nin)	FP32	FP32	91.01%	0.15	0.67	2.68	***	***
采用分组卷积

基于pytorch的模型剪枝+模型量化+BN合并+TRT部署（cifar数据）（2）相关推荐

基于Pytorch的Transformer翻译模型前期数据处理方法
基于Pytorch的Transformer翻译模型前期数据处理方法 Google于2017年6月在arxiv上发布了一篇非常经典的文章:Attention is all you need,提出了解决s ...
2、【KV260开发】yolov4模型训练、量化、编译、部署
前言由于毕业设计就是基于KV260搞智能监控那一套,因此主要关注深度学习应用这一块,硬件部门涉及比较少. 通过Vitis AI官方手册可知,成功完成一个深度学习应用需要四个步骤:模型训练.量化.编译 ...
【视频课】模型剪枝+模型量化+知识蒸馏典型实践！
前言欢迎大家关注有三AI的视频课程系列,我们的视频课程系列共分为5层境界,内容和学习路线图如下: 第1层:掌握学习算法必要的预备知识,包括Python编程,深度学习基础,数据使用,框架使用. 第2层 ...
【视频课】深度掌握模型剪枝+模型量化+知识蒸馏3大核心模型压缩技术理论！...
前言欢迎大家关注有三AI的视频课程系列,我们的视频课程系列共分为5层境界,内容和学习路线图如下: 第1层:掌握学习算法必要的预备知识,包括Python编程,深度学习基础,数据使用,框架使用. 第2层 ...
艾伦人工智能研究院开源AllenNLP，基于PyTorch轻松构建NLP模型
艾伦人工智能研究院(AI2)开源AllenNLP,它是一个基于PyTorch的NLP研究库,利用深度学习来进行自然语言理解,通过处理低层次的细节.提供高质量的参考实现,能轻松快速地帮助研究员构建新的语 ...
基于PyTorch的Seq2Seq翻译模型详细注释介绍（一）
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/qysh123/article/deta ...
【视频课】模型优化拆分！分别学习模型剪枝与模型量化理论与实践
前言好的模型结构是深度学习成功的关键因素之一,不仅是非常重要的学术研究方向,在工业界实践中也是模型是否能上线的关键.对各类底层深度学习模型设计和优化技术理解的深度是决定我们能否在深度学习项目中游刃有 ...
【模型部署】NNI：剪枝和量化
目录一简介 1 剪枝和量化 2 NNI 二安装NNI 三剪枝四量化一简介 1 剪枝和量化将神经网络部署在计算资源匮乏或具有严格延迟要求的设备上的时候,需要先对模型进行压缩处理.模型压 ...
浅谈模型压缩之量化、剪枝、权重共享
之前陆陆续续看了许多模型压缩相关的文章,自己业务中也接触过一些相关的客户,今天周末没事做,把模型压缩相关的内容整理一下做个分享.可能更多地从科普的角度去介绍,因为我也不是专业做这方面技术的研究. 首先 ...

基于pytorch的模型剪枝+模型量化+BN合并+TRT部署（cifar数据）（2）

基于pytorch的模型剪枝+模型量化+BN合并+TRT部署（cifar数据）（2）相关推荐

最新文章

热门文章