yolov4网络结构_上达最高精度，下到最快速度，Scaled-YOLOv4：模型缩放显神威

分享一篇今天新出的重要文章：Scaled-YOLOv4: Scaling Cross Stage Partial Network，作者出自 YOLOv4 的原班人马，其聚焦于针对 YOLOv4 的模型缩放（model scale）。

该文作者信息：

论文地址：https://arxiv.org/2011.08036

代码地址: https://github.com/WongKinYiu/ScaledYOLOv4

旗下重要的三个模型：

YOLOv4-CSP（面向普通GPU）:

https://github.com/WongKinYiu/ScaledYOLOv4/tree/yolov4-csp

YOLOv4-tiny(面向低端GPU):

https://github.com/WongKinYiu/ScaledYOLOv4/tree/yolov4-tiny

YOLOv4-large(面向高端GPU):

https://github.com/WongKinYiu/ScaledYOLOv4/tree/yolov4-large

实现效果

1）其开发的 YOLOv4-large 在COCO 数据集达到 SOTA 精度: 55.4% AP(73.3% AP50) 并以以15 fps 在 Tesla V100 运行, 而如果加上测试阶段数据增强方法后,YOLOv4-large 达到 55.8% AP (73.2 AP50。作者称这一精度是所有已公开文献的最高精度。

2）另外其 YOLOv4-tiny 模型在 COCO 数据集达到 22.0% AP (42.0% AP50) ， ∼443 FPS 在 RTX 2080Ti 运行, 当使用 TensorRT 做推理, batch size = 4 和 FP16 推断时， YOLOv4-tiny 甚至可达到 1774 FPS！

何为模型缩放？为什么要缩放？

首先我们要搞清楚这篇文章作者的本意，其本不是冲着提高检测精度而来的。其主要考虑的是在深度学习技术应用领域不断扩大的今天，面向实际工程部署，往往需要的不是一个模型而是一套模型。

部署在云端，也许你有高端大气上档次的V100 ，部署在个人电脑有大量的消费级GPU可选如2080TI(当然还是略贵~)，部署在嵌入式平台可以选择TX2 、Jetson NANO等“弱机”。

模型缩放即希望一个算法衍生出多个模型，对计算和存储的需求不同（精度当然也不同），以满足部署在不同平台的需求。其实这当然不是什么新概念，EfficientNet、EfficientDet即是一个算法的一系列模型。

作为工业界宠爱的 YOLOv4，需要模型缩放。

Scaled-YOLOv4 是怎么做模型缩放的？

正如之前跟大家分享过 YOLOv4 论文一样，作者们依然采用了极其工程化的方法设计 Scaled-YOLOv4 ，没有发明什么新思想、新路径，而是“博采众长”，“努力调优”。

以往模型缩放，如 EfficientDet 无非是首先选择网络基础模块，它往往又好又快，然后针对影响目标检测的重要参数如：网络宽度 w、深度 d、输入图像分辨率size等进行（满足一定条件下按照一定规律）调参。

虽然神经架构搜索也常被用于设计不同平台的一系列不同模型，但 EfficientDet 已经证明上述方法其实是很有效。

作者针对不同的 GPU 设计不同模型。思路依然是寻找基础模块，然后调整网络宽度 w、深度d、输入图像分辨率 size。

作者认为之前的工作没有系统性分析各个网络因素的影响，而作者进行了系统分析。

这里CV君不再跟大家分享作者的分析细节，只上结论。

针对普通 GPU,对应 YOLOv4-CSP，作者选择了 CSPNet （CVPR 2020 Workshop 论文）启发下的 CSP-ized(CSP化的)模型作为基础结构。作为后来者，相比 EfficientDet，设计 Scaled-YOLOv4 能选择的网络结构更多，当然是有优势的。

YOLOv4-CSP中的reversed CSP dark 结构

针对嵌入式等平台上的弱 GPU，对应 YOLOv4-tiny ,除了考虑计算量，作者尤其提到要考虑内存访问速度、内存带宽、DRAM 速度的影响，作者选择了 OSANet 作为整体结构，并依然进行了 CSP 化，即 CSPOSANet 。CV君觉得这是搞工程化的人最值得参考的地方。

YOLOv4-tiny 计算模块

对于高端 GPU,对应 YOLOv4-Large，首要考虑的是追求高精度，所以作者在提高输入图像分辨率和增加 stage 上下功夫，因为这直接影响不同分辨率目标和算法感受野，输入分辨率高、算法感受野大能检测到更多目标。

YOLOv4-P5、P6、P7结构

算法效果

作者在 COCO 数据集上进行了测试，未使用预训练权重，从头开始训练。

尽管 Scaled-YOLOv4 并不单纯追求精度高，但跟 SOTA 算法相比依然很能打。

请注意，表中的 YOLOv4 -CSP、P5、P6、P7 依然都是实时算法，针对帧率 15fps(v100 GPU上测试)，当然 YOLOv4-P7 也取得了最高的精度，但相比相同输入分辨率的EfficientDet-D7x 也并未出现碾压的架势，在 Large 目标上 EfficientDet-D7x 是最优秀的，YOLOv4-P7 对小目标检测更好。

YOLOv4-Large 加上测试时图像增强（TTA，这时在工程应用时经常做的）后，精度获得了小幅提升：

YOLOv4-tiny同样很优秀，相比其他主打小模型计算量小的算法，取得了速度和精度的双优。

结论

尽管在算法设计上，该文并没有带来重要亮点，但从工程应用的角度讲， Scaled-YOLOv4 无疑是极其优秀的选择！尤其是 YOLOv4-tiny，其设计不仅考虑到计算量和参数量还考虑到内存访问，感谢作者团队的开源！