深度学习论文: Compounding the Performance Improvements of Assembled Techniques in a CNN及其PyTorch实现

2024-04-16 11:59:59

深度学习论文: Compounding the Performance Improvements of Assembled Techniques in a Convolutional Neural Network及其PyTorch实现
Compounding the Performance Improvements of Assembled Techniques in a Convolutional Neural Network
PDF:https://arxiv.org/abs/2001.06268.pdf
PyTorch: https://github.com/shanglianlm0525/PyTorch-Networks

1 概述

作者在 Bag of Tricks for Image Classification with Convolutional Neural Networks的基础上, 研究了很新的一些trick（AA、SK等）对模型的影响，引入了新的指标mCE综合评判模型性能

2 Evaluation Metrics

top-1 :分类精度

throughput:生产量, 定义为单位时间内处理图片数量, num/s

mCE: 平均腐蚀误差, 衡量算法鲁棒性

3 Network Tweaks (网络调整)

3-1 ResNet-D

bag of tricks中提出，在实际中很work但对计算量有细微影响

3-2 Channel Attention (SE, SK)

除了SE外，作者还是用了SK，但改为以下的形式,使用一个双输出通道的3x3核替换原来的3x3和5x5核, throughput增加了很多

实验结果

3-3 Anti-Alias Downsampling (AA)

抗锯齿下采样，发现在stride-conv上使用该下采样综合性能最好

Richard Zhang. Making convolutional networks shiftinvariant again. In ICML, 2019

3-4 Big Little Network (BL)

模仿BigLittleNet的多分支思路，在网络中加入Little-Branch

Chun-Fu Chen, Quanfu Fan, Neil Mallinar, Tom Sercu, and Rogerio Feris. Big-little net: An efficient multi-scale feature representation for visual and speech recognition. arXiv preprint arXiv:1807.03848, 2018

3-5 实验对比

4 Regularization (正则化)

4- AutoAugment (Autoaug)

强化学习选择图像增强策略

Ekin D Cubuk, Barret Zoph, Dandelion Mane, Vijay Vasudevan, and Quoc V Le. Autoaugment: Learning augmentation policies from data. arXiv preprint arXiv:1805.09501, 2018

4-2 Mixup

CNN对见过的图记忆深刻，无法很好处理新的与训练数据集分布不同的数据，Mixup生成新数据来解决这个问题，包括两种类型，第一种将两个batch的数据生成新的混合数据，第二种将同一个batch的数据生成新数据，实验发现第一种较好，尽管需要更多的CPU资源

4-3 DropBlock

Dropout Block，值得注意的是作者在ResNet50的stage3、4都加入了Dropout，并且从1到0.9线性减小keep_prob

4-4 Label Smoothing (LS)

label smoothing因子取0.1

4-5 Knowledge Distillation (KD)

T取1

4-6 实验结果

深度学习论文: Compounding the Performance Improvements of Assembled Techniques in a CNN及其PyTorch实现相关推荐

深度学习论文: An Energy and GPU-Computation Efficient Backbone Network for Object Detection及其PyTorch
An Energy and GPU-Computation Efficient Backbone Network for Real-Time Object Detection PDF:https:// ...
深度学习论文: EdgeViTs: Competing Light-weight CNNs on Mobile Devices with Vision Transformers及其PyTorch实现
深度学习论文: EdgeViTs: Competing Light-weight CNNs on Mobile Devices with Vision Transformers及其PyTorch实现 ...
深度学习论文阅读目标检测篇（四）中英文对照版：YOLOv1《 You Only Look Once: Unified, Real-Time Object Detection》
深度学习论文阅读目标检测篇(四)中英文对照版:YOLOv1< You Only Look Once: Unified, Real-Time Object Detection> Abstra ...
深度学习论文阅读图像分类篇（三）：VGGNet《Very Deep Convolutional Networks for Large-Scale Image Recognition》
深度学习论文阅读图像分类篇(三):VGGNet<Very Deep Convolutional Networks for Large-Scale Image Recognition> Ab ...
深度学习论文阅读目标检测篇（三）：Faster R-CNN《 Towards Real-Time Object Detection with Region Proposal Networks》
深度学习论文阅读目标检测篇(三):Faster R-CNN< Towards Real-Time Object Detection with Region Proposal Networks&g ...
深度学习论文阅读目标检测篇（七）中英对照版：YOLOv4《Optimal Speed and Accuracy of Object Detection》
深度学习论文阅读目标检测篇(七)中英对照版:YOLOv4<Optimal Speed and Accuracy of Object Detection> Abstract 摘要 1. In ...
深度学习论文阅读图像分类篇（五）：ResNet《Deep Residual Learning for Image Recognition》
深度学习论文阅读图像分类篇(五):ResNet<Deep Residual Learning for Image Recognition> Abstract 摘要 1. Introduct ...
深度学习论文阅读目标检测篇（五）中英对照版：YOLOv2《 YOLO9000: Better, Faster, Stronger》
深度学习论文阅读目标检测篇(五)中文版:YOLOv2< YOLO9000: Better, Faster, Stronger> Abstract 摘要 1. Introduction 1. ...
全球30篇最热门的计算机视觉和深度学习论文
全球30篇最热门的计算机视觉和深度学习论文 2016-06-23分类:机器学习评论(0) 大数据交流QQ群,汇聚2万大数据爱好者.加入,开启你的数据江湖!! 这是一份被国外专家引用最多的计算机视觉和深 ...
深度学习论文阅读目标检测篇（一）：R-CNN《Rich feature hierarchies for accurate object detection and semantic...》
深度学习论文阅读目标检测篇(一):R-CNN<Rich feature hierarchies for accurate object detection and semantic segmen ...

最新文章

热门文章