重磅！图森王乃岩团队最新工作—TridentNet：处理目标检测中尺度变化新思路

欢迎关注微信公众号【计算机视觉联盟】 获取更多前沿AI、CV资讯

联盟很荣幸获得图森首席科学家王乃岩博士的授权发布图森最新成果！

----------------------------------------

为大家介绍一篇图森的工作(Scale-Aware Trident Networks for Object Detection)，这篇文章主要要解决的问题便是目标检测中最为棘手的scale variation问题。

在正式介绍我们的方法之前，我先简单回顾一下现有的两大类方法。

第一大类，也是从非Deep时代，乃至CV初期就被就被广泛使用的方法叫做image pyramid。在image pyramid中，我们直接对图像进行不同尺度的缩放，然后将这些图像直接输入到detector中去进行检测。虽然这样的方法十分简单，但其效果仍然是最佳，也后续启发了SNIP这一系列的工作。单论性能而言，multi-scale training/testing仍然是一个不可缺少的组件。然而其缺点也是很明显的，测试时间大幅度提高，对于实际使用并不友好。

们使用了非常简单干净办法在标准的COCO benchmark上，使用ResNet101单模型可以得到MAP 48.4的结果，远

另外一大类方法，也是Deep方法所独有的，也就是feature pyramid。最具代表性的工作便是经典的FPN了。这一类方法的思想是直接在feature层面上来近似image pyramid。☺非Deep时代在检测中便有经典的channel feature这样的方法，这个想法在CNN中其实更加直接，因为本身CNN的feature便是分层次的。☺从开始的MS-CNN直接在不同downsample层上检测大小不同的物体，再到后续TDM和FPN加入了新的top down分支补充底层的语义信息不足，都是延续类似的想法。☺然而实际上，这样的近似虽然有效，但是仍然性能和image pyramid有较大差距。

几种处理scale variation方法的比较

所以我们最开始的一个想法便是直接加入几支并行，但是dilation rate不同的分支，在文中我们把每一个这样的结构叫做trident block。这样一个简单的想法已经可以带来相当可观的性能提升。☺我们进一步考虑我们希望这三支的区别应该仅仅在于receptive field，它们要检测的物体类别，要对特征做的变换应该都是一致的。☺所有自然而然地想到我们对于并行的这几支可以share weight。☺ 一方面是减少了参数量以及潜在的overfitting风险，另一方面充分利用了每个样本，同样一套参数在不同dilation rate下训练了不同scale的样本。☺最后一个设计则是借鉴SNIP，为了避免receptive field和scale不匹配的情况，我们对于每一个branch只训练一定范围内样本，避免极端scale的物体对于性能的影响。

总结一下，我们的TridentNet在原始的backbone上做了三点变化：第一点是构造了不同receptive field的parallel multi-branch。☺第二点是对于trident block中每一个branch的weight是share的。☺第三点是对于每个branch，训练和测试都只负责一定尺度范围内的样本，也就是所谓的scale-aware。这三点在任何一个深度学习框架中都是非常容易实现的。

在测试阶段，我们可以只保留一个branch来近似完整TridentNet的结果，后面我们做了充分的对比实验来寻找了这样single branch approximation的最佳setting，一般而言，这样的近似只会降低0.5到1点map，但是和baseline比起来不会引入任何额外的计算和参数。

TridentNet网络结构

我们还和经典的feature pyramid方法FPN做了比较。✯为了保证比较公平，我们严格遵循Detectron中的实现方式，并使用两层fc作为detector的head。✯可以看到在这样的setting下，FPN其实对于baseline而言小物体有一定提升，然而大物体性能下降，综合下来并没有比baseline有提高，但是我们的方法仍然可以持续地提升2.2个点map，就算使用single branch approximation，仍然也有1.2个点的提升。✯这充分证明了我们的方法的普适性。✯

最后我们将我们的方法和各paper中报告的最好结果相比较。✯但是其实很难保证绝对公平，因为每篇paper使用的trick都不尽相同。✯所以我们在这里报告了两个结果，一个是ResNet101不加入任何trick直接使用TridentNet的结果，一个是和大家一样加入了全部trick（包括sync BN，multi-scale training/testing，deformable conv，soft-nms）的结果。在这样的两个setting下，分别取得了在COCO test-dev集上42.7和48.4的结果。✯这应该分别是这样两个setting下目前最佳的结果。✯single branch approximation也分别取得了42.2和47.6的map，不过这可是比baseline不增加任何计算量和参数量的情况下得到的。

最后的最后，我们会在本月内开源整套训练代码，可以很方便复现TridentNet结果以及各种常见trick。这个框架下也包含了其他Detection和Instance Segmentation方面的经典工作，敬请期待！

该工作论文链接：

https://arxiv.org/abs/1901.01892

微信不能放外部链接，可复制链接到浏览器查看，也可点击阅读原文访问论文链接！

公众号回复关键词【TN】也可获取论文全文

作者：王乃岩（图森）

编辑：CVStudy

本文已由王乃岩授权转载

重磅！图森王乃岩团队最新工作—TridentNet：处理目标检测中尺度变化新思路相关推荐

直播 | 孙剑团队最新工作：用于物体检测的实例条件知识蒸馏 | NeurIPS 2021
近期,旷视孙剑团队最新工作提出了一种新的目标检测知识蒸馏框架:实例-条件知识蒸馏(ICD)方法利用实例-特征交叉注意力来选择和定位与人类观察到的实例相关的知识,性能表现SOTA,这篇论文已经开源(地址 ...
何恺明团队最新研究：3D目标检测新框架VoteNet，两大数据集刷新最高精度
[导读]FAIR何恺明等人团队提出3D目标检测新框架VoteNet,直接处理原始数据,不依赖任何2D检测器.该模型设计简单,模型紧凑,效率高,在两大真实3D扫描数据集上实现了最先进的3D检测精度. 当 ...
张祥雨团队最新工作：用于物体检测的实例条件知识蒸馏 | NeurIPS 2021
[专栏:前沿进展]在青源LIVE第31期中,旷视研究院张祥雨团队的张培圳研究员深入浅出地为我们介绍了其团队被 NeurIPS 2021 录用的论文「用于物体检测的实例条件知识蒸馏」.本期报告首先简要回 ...
反向 Dropout，韩松团队最新工作NetAug：提高Tiny神经网络性能的新训练方法
作者丨happy 编辑丨极市平台本文首发于极市平台,转载请获得授权并标明出处. 论文链接:https://arxiv.org/abs/2110.08890 TinyNN的福音:韩松团队提出针对Ti ...
何恺明团队新作ViTDet：用于目标检测的视觉Transformer主干网络
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达转载自:机器之心 | 编辑:张倩.小舟做目标检测就一定需要 FPN 吗?昨天,来自 Facebook AI ...
YOLOv7：无需预训练模型的最新最实时的目标检测框架
Yolov7论文翻译翻译工具: DeepL和讯飞文档翻译论文:https://arxiv.org/abs/2207.02696 代码:https://github.com/WongKinYiu/ ...
反向 Dropout！韩松团队最新工作NetAug：提高Tiny神经网络性能的新训练方法
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达作者丨happy 编辑丨极市平台导读韩松团队提出针对TinyNN ...
ECCV22 最新论文汇总（目标检测、图像分割、监督学习、GAN等）
强烈感谢极市平台提供的论文资源 ECCV 2022 已经放榜,共有1629篇论文中选,录用率还不到20%.为了让大家更快地获取和学习到计算机视觉前沿技术,作者对ECCV2022最新论文进行追踪,包括分 ...
李飞飞团队最新论文：如何对图像中的实体精准“配对”？
编译 | 费棋出品 | AI科技大本营(公众号ID:rgznai100) [导语]近日,李飞飞的斯坦福大学视觉实验室发布了一篇即将在 CVPR 2018上要介绍的论文 Referring Relat ...

重磅！图森王乃岩团队最新工作—TridentNet：处理目标检测中尺度变化新思路

重磅！图森王乃岩团队最新工作—TridentNet：处理目标检测中尺度变化新思路相关推荐

最新文章

热门文章