mobilenet压缩

在可视化训练好的mobilenet 的weights时发现有挺多的卷积核的值很小，几乎为0，这些卷积核对整个model没有贡献，所以我们通过减枝压缩技术去去除这些卷积核。以绝对值为0.0001作为阀值，减枝后（没有finetune）直接valid发现精度跟mobilenet本身的精度一模一样，说明这些滤波器对mobilenet的模型一点点的影响都没有.

上图是mobilenet的valid 精度

上图是以阀值0.0001剪枝后的精度，发现一模一样。

以0.0001阀值剪枝后的结构图如下所示：

接着我同样的方法以0.08的阀值剪枝，没有finetune,精度损失了3%，模型大小减小为13.9M。

结构图

如果finetune的话，精度应该会上升的，这里我没作实验了，我后面直接剪枝了一个0.1阀值的，模型减少到10M多点，目前在finetune中，如果精度恢复的还不错，我就上传到github上。

mobilenet跟SSD结合精度还可以，所以这些压缩后的模型对于MobilenetSSD来说应该会提升点速度，特别我后面finetune的那个10M的模型，精度也不怎么损失的话，速度上来说应该会提升一小倍。但是mobilenet本身跟yolo的结合精度效果不大好，所以我后面去研究新的model了。

压缩后的cfg和weights文件链接地址：https://github.com/zunzhumu/darknet-mobilenet

更新：压缩后10M大小的mobilenet已经finetune到top-1:0.697,top-5:0.897，目前是top1掉了1.5%，top5掉了0.6%。

mobilenet压缩相关推荐

深度学习（二十八）——SOM, Group Normalization, MobileNet, 花式卷积进阶
RBM & DBN & Deep Autoencoder(续) DBN RBM不仅可以单独使用,也可以堆叠起来形成Deep Belief Nets(DBNs),其中每个RBM层都与其前 ...
深度学习（十）——花式卷积(2)
https://antkillerfarm.github.io/ 花式卷积 depthwise separable convolution(续) 它包含一个深度方面的卷积(一个为每个通道单独执行的空间 ...
TensorFlow Mobilenet SSD模型压缩并移植安卓上以达到实时检测效果
之前使用TensorFlow object detect API实现了目标检测(14个手势的识别),使用的是轻量级模型Mobilenet-ssd,Mobilenet-ssd本身检测速率相较于其他模型会 ...
面向Mobile device的CNN模型手工设计与NAS分析总结，MobileNet V1,V2,V3，Efficient，MNasNet以及Efficient network design
手工方法和NAS的高效网络模型设计总结与分析这篇文章主要关注对于移动端,资源受限平台的高效神经网络设计(Manually)和搜索(NAS). 高效的CNN设计不只是用在服务器,云端,资源 ...
CV算法复现（分类算法6/6）：MobileNet（2017年V1，2018年V2，2019年V3，谷歌）
致谢:霹雳吧啦Wz:霹雳吧啦Wz的个人空间_哔哩哔哩_Bilibili 目录致谢:霹雳吧啦Wz:霹雳吧啦Wz的个人空间_哔哩哔哩_Bilibili 1 本次要点 1.1 pytorch框架语法 2 ...
华为诺亚、北大提出GhostNet，使用线性变换生成特征图，准确率超MobileNet v3 | CVPR 2020...
作者 | Kai Han, Yunhe Wang等编译 | Conv 出品 | AI科技大本营(rgznai100) 受限于内存空间和计算资源,将卷积神经网络部署到嵌入式设备中会比较困难.CNNs中 ...
对话腾讯AI Lab：即将开源自动化模型压缩框架PocketFlow，加速效果可达50%
整理 | Jane 出品 | AI科技大本营 [导语]腾讯 AI Lab 机器学习中心今日宣布成功研发出世界上首款自动化深度学习模型压缩框架--PocketFlow,并即将在今年10-11月发布开源代 ...
深度学习模型压缩与加速综述！
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货作者:Pikachu5808,编辑:极市平台来源丨https://zh ...
CNN模型之MobileNet
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达零引言: 卷积神经网络(CNN)已经普遍应用在计算机视觉领域,并 ...

mobilenet压缩

mobilenet压缩相关推荐

最新文章

热门文章