学习经验分享之四：YOLOv7学习心得

[Submitted on 6 Jul 2022]就在前天提交arxiv的YOLOv7论文以及代码，今天立马下载源码以及原文进行阅读。

YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors

论文：

[2207.02696] YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors (arxiv.org)https://arxiv.org/abs/2207.02696

代码：

https://github.com/WongKinYiu/ygithub.com/WongKinYiu/yolov7

YOLOv7L的结构图（参考微信公众号：所向披靡的张大刀）

摘要：

YOLOv7 在 5 FPS 到 160 FPS 范围内的速度和精度都超过了所有已知的物体检测器，并且在 GPU V100 上具有 30 FPS 或更高的所有已知实时物体检测器中具有最高的精度 56.8% AP。 YOLOv7-E6 目标检测器（56 FPS V100, 55.9% AP）在速度和准确度上均优于基于变压器的检测器 SWIN-L Cascade-Mask R-CNN（9.2 FPS A100, 53.9% AP）509%，并且基于卷积的检测器 ConvNeXt-XL Cascade-Mask R-CNN (8.6 FPS A100, 55.2% AP) 速度提高 551%，准确率提高 0.7%，并且 YOLOv7 优于：YOLOR、YOLOX、Scaled-YOLOv4、YOLOv5、 DETR、Deformable DETR、DINO-5scale-R50、ViT-Adapter-B 和许多其他速度和准确度的物体检测器。此外，我们只在 MS COCO 数据集上从头开始训练 YOLOv7，而不使用任何其他数据集或预训练的权重。

引言：

实时对象检测是计算机视觉中非常重要的主题，因为它通常是计算机视觉系统中的必要组件。例如，多目标跟踪 [94, 93]，自动驾驶 [40, 18]，机器人 [35, 58]，医学图像分析 [34, 46] 等。时间物体检测通常是一些移动CPU或GPU，以及各大厂商开发的各种神经处理单元（NPU）。例如，Apple 神经引擎 (Apple)、神经计算棒 (Intel)、Jetson AI 边缘设备 (Nvidia)、边缘 TPU (Google)、神经处理引擎 (Qualcomm)、AI 处理单元 (MediaTek) ) 和 AI SoC (Kneron) 都是 NPU。上面提到的一些边缘设备专注于加速不同的操作，例如普通卷积、深度卷积或 MLP 操作。在本文中，我们提出的实时目标检测器主要希望它能够同时支持移动 GPU 和从边缘到云端的 GPU 设备。

近年来，针对不同边缘设备的实时目标检测器仍在开发中。例如，开发图 1：与其他实时对象检测器的比较，我们提出的方法实现了最先进的性能。 MCUNet [49, 48] 和 NanoDet [54] 的运营专注于生产低功耗单芯片并提高边缘 CPU 的推理速度。至于 YOLOX [21] 和 YOLOR [81] 等方法，他们专注于提高各种 GPU 的推理速度。最近，实时目标检测器的开发集中在高效架构的设计上。至于可以在 CPU [54, 88, 84, 83] 上使用的实时目标检测器，他们的设计主要基于 MobileNet [28, 66, 27]，ShuffleNet [92, 55]，或鬼网 [25]。另一个主流的实时目标检测器是为 GPU [81, 21, 97] 开发的，它们大多使用 ResNet [26]、DarkNet [63] 或 DLA [87]，然后使用 CSPNet [80] 策略来优化建筑学。本文提出的方法的发展方向与当前主流的实时目标检测器不同。除了架构优化之外，我们提出的方法将专注于训练过程的优化。我们的重点将放在一些优化的模块和优化方法上，它们可能会增加训练成本以提高目标检测的准确性，但不会增加推理成本。我们将提出的模块和优化方法称为可训练的免费赠品袋。

最近，模型重新参数化 [13,12,29] 和动态标签分配 [20,17,42] 已成为网络训练和目标检测的重要课题。主要是在上述新概念提出之后，目标检测器的训练演变出许多新问题。在本文中，我们将介绍我们发现的一些新问题，并设计解决这些问题的有效方法。对于模型重参数化，我们用梯度传播路径的概念分析了适用于不同网络层的模型重参数化策略，并提出了有计划的重参数化模型。此外，当我们发现使用动态标签分配技术时，具有多个输出层的模型的训练会产生新的问题。即：“如何为不同分支的输出分配动态目标？”针对这个问题，我们提出了一种新的标签分配方法，称为从粗到细的引导式标签分配。本文的贡献总结如下：（1）我们设计了几种可训练的免费袋方法，使得实时目标检测可以在不增加推理成本的情况下大大提高检测精度； (2) 对于目标检测方法的发展，我们发现了两个新问题，即重新参数化的模块如何替换原始模块，以及动态标签分配策略如何处理分配给不同输出层的问题。此外，我们还提出了解决这些问题所带来的困难的方法； (3) 我们提出了实时目标检测器的“扩展”和“复合缩放”方法，可以有效地利用参数和计算； (4) 我们提出的方法可以有效减少最先进的实时目标检测器的 40% 左右的参数和 50% 的计算量，并且具有更快的推理速度和更高的检测精度

先占个坑，后续进行更新v7的相关知识点、结构图以及改进方法等，有兴趣的朋友先点个关注哦。

学习经验分享之四：YOLOv7学习心得相关推荐

[软考]系统架构设计师备考经验分享(二) - 知识点学习+综合知识篇
2021.12.20 更新下成绩 49,53,55 原文: 本篇对应备考计划中的1.2阶段: 相关分享: 备考计划篇:[软考]系统架构设计师备考经验分享(一) - 备考计划篇知识点学习+综合知识篇 ...
英语学习经验分享(四六级、竞赛、口语）
英语学习经验分享(四六级.竞赛.口语) 什么时候开始下决心好好学英语的,自己又经历了哪些苦逼事儿??? Listening Speaking 英语竞赛有哪些需要参加??? 全国大学生英语竞赛河南省翻 ...
计算机自动化技术要学什么,【经验分享】PLC学习的5个阶段，自动化工程师看看你属于哪个阶段？...
原标题:[经验分享]PLC学习的5个阶段,自动化工程师看看你属于哪个阶段? 正文 PLC可编程控制器在学习的时候是需要经过5个阶段的,每个知识的学习都是要经过一定的应用积累.PLC可编程控制器在学习的 ...
学习经验分享 | 目录一览表
文章目录学习经验分享 | 目录一览表
「代码家」的学习过程和学习经验分享【转】
图灵丛书的一句话说的很好,Standing on the shoulders of giants,是的,我们一直站在巨人的肩上,我们起步都在沿着他们的轨迹前行,之后慢慢的在前人的开发基础或者规范上写出 ...
Unity3D 之学习路线与学习经验分享
转自:https://blog.csdn.net/qq_22521529/article/details/83108837 Unity3D学习路线与学习经验分享该博文出自作者15游02 丁祺,是一篇 ...
Day663.大佬学习经验分享 -Java业务开发常见错误
大佬学习经验分享 Hi,我是阿昌,今天学习记录分析的是关于某大佬的学习经验分享. 大佬工作这些年来,经常会有同学来找大佬沟通学习和成长,他们的问题整体可以归结为两个. 一是,长期参与 CRUD 业务开 ...
LaTeX学习经验分享
LaTeX学习经验分享 LaTeX介绍 LaTeX编辑器介绍 LaTeX小技巧公式编辑环境下斜体符号变直体结语 LaTeX介绍 Latex 是一种高质量的文字排版工具,主要用于技术类和科技类论文文 ...
【Python】零、学习经验分享
0 序本文缘起于和一位同事交流Python中,希望我能开个课程分享下心得和经验,正好我也想整理下自己所学的资料和代码工具,就决定梳理几篇文章. 我毕业于厦门理工学院数学与应用数学(统计方向)专业,大 ...

学习经验分享之四：YOLOv7学习心得

学习经验分享之四：YOLOv7学习心得相关推荐

最新文章

热门文章