【论文笔记】FasterNet：Run, Don’t Walk: Chasing Higher FLOPS for Faster Neural Networks
文章目录
- 前言
- 1. 介绍
- 2. 简单介绍以下深度可分离卷积
- 3. PConv
- 3.1 部分卷积PConv的设计
- 3.2 PConv 之后的 Point-Wise Convolution
- 3.3 PConv的代码
- 4. 基于PConv的视觉骨干模型 FasterNet
- 4.1 实现细节
- 4.2 Normalization 层和激活函数的使用
- 4.3 代码实现
- 5. PConv具有更高的FLOPS
- 6. 总结
- Reference
前言
为了设计快速神经网络，许多工作都集中在减少浮点运算（FLOPs）的数量上。然而，作者观察到FLOPs的这种减少不一定会带来延迟的类似程度的减少。这主要源于每秒低浮点运算（FLOPS）效率低下。
为了实现更快的网络，作者重新回顾了FLOPs的运算符，并证明了如此低的FLOPS主要是由于运算符的频繁内存访问，尤其是深度卷积。因此，本文提出了一种新的partial convolution（PConv），通过同时减少冗余计算和内存访问可以更有效地提取空间特征。
基于PConv进一步提出FasterNet，这是一个新的神经网络家族，它在广泛的设备上实现了比其他网络高得多的运行速度，而不影响各种视觉任务的准确性。例如，在ImageNet-1k上小型FasterNet-T0在GPU、CPU和ARM处理器上分别比MobileVitXXS快3.1倍、3.1倍和2.5倍，同时准确度提高2.9%。
大模型FasterNet-L实现了令人印象深刻的83.5%的TOP-1精度，与Swin-B不相上下，同时GPU上的推理吞吐量提高了49%，CPU上的计算时间也节省了42%。
论文链接
<Run, Don't Walk: Chasing Higher FLOPS for Faster Neural Networks> Pconv 论文链接:https://paperswi ... 概述:为了实现更快的网络,作者重新回顾了FLOPs的运算符,并证明了如此低的FLOPS主要是由于运算符的频繁内存访问,尤其是深度卷积.因此,作者提出了一种新的partial convolution(P ... [论文研读][医学图像分割][BCRNN]Fine-grained Recurrent Neural Networks for Automatic Prostate Segmentation inUl ... 论文 论文题目:URBAN CHANGE DETECTION FOR MULTISPECTRAL EARTH OBSERV ATIONUSING CONVOLUTIONAL NEURAL NETWOR ... 诸神缄默不语-个人CSDN博文目录 论文下载地址:https://openreview.net/attachment?id=rkeIIkHKvS&name=original_pdf 代码:yi ... 图像分类经典论文翻译汇总:[翻译汇总] 翻译pdf文件下载:[下载地址] 此版为中英文对照版,纯中文版请稳步:[AlexNet纯中文版] ImageNet Classification with De ... DeepFool: a simple and accurate method to fool deep neural networks 1.摘要及背景 提出Deepfool算法,对比FGSM和I-BL ... 核心思想 采用深层卷积网络提取图像风格特征与内容,并将其进行融合生成效果很好的艺术图. 引言部分 将一幅图像的风格迁移到另一副图像可以看作是纹理迁移的一个分支.对于纹理迁移,它的目标是从源图合成一种纹 ... 相关资源 论文地址 硕士毕业论文 代码(仅有可执行文件) 作者主页 问题 本文的问题是:动态时序图中挖掘motif,可以认为是在时序图中挖掘频繁子图.子图中的边满足相同的顺序. 在有向.无标签.有重边 ...【论文笔记】FasterNet：Run, Don’t Walk: Chasing Higher FLOPS for Faster Neural Networks相关推荐
最新文章
热门文章