HybridNets的重要内容翻译。其主要改进点为：主干网络替换为EfficientNet-B3；颈部网络由FPN替换为BiFPN；分割损失修改为Focal损失+Tversky损失，后者可以改善类别不平衡问题。

摘要：

端到端网络在多任务处理中已经变得越来越重要。其中一个突出的例子是驾驶感知系统在自动驾驶中的重要性。本文系统地研究了一种用于多任务处理的端到端感知网络，并提出了几种关键的优化方法来提高准确率。首先，提出了基于加权双向特征网络的高效分割头和边界/类别预测网络。其次，提出了加权双向特征网络中各层的自动定制锚框方法。第三，提出了一种有效的训练损失和训练策略来平衡和优化网络。基于这些优化，我们提出了一种端到端的感知网络来执行多任务处理，包括交通目标检测、可行驶区域分割和车道线检测，称这个网络为HybridNet，它比现有SOTA有更好的准确率。HybridNets在BDD100K数据集上进行实验，mAP为77.3%，mIoU为31.6%，参数量为12.83百万，浮点运算量为15.6GFLOPs。此外，它可以实时执行视觉感知任务，因此是一个实用和准确的多任务问题的解决方案。代码放在https://github.com/datvuthanh/HybridNets。

关键词：端到端网络；多任务学习；检测；分割；自动驾驶

1 介绍

1.1 背景

总的来说，本文的贡献如下所示：

1.HybridNets，一个端到端的网络，在BDD100K上取得了非常好的结果，在速度上也能实时检测；

2.可以在任意数据集，在加权双向特征网络中为每个层级自动定制锚框；

3.提出了一种训练损失函数和训练策略来平衡和优化多任务网络。

1.2 相关工作

2 方法论

2.1 网络结构

输入是640×384，每层特征图的尺寸为。

2.2 编码器

主干网络用于提取特征，是网络的重要组成部分，能够帮助各部分网络在各个子任务上取得好的性能我们的主干网络采用的是EfficientNet-B3。

FPN的局限性是特征信息来自于单一途径。因此，我们在颈部网络中采用基于EfficientDet的BiFPN。BiFPN可以跨阶段地融合不同尺度的特征，包含一条自上而下和一条自下而上的传递路径。

2.3 解码器

解码器包括分割头和检测头两个部分：分割头输出三个类别，分别为可行驶区域、车道线和背景，分割头的输入是主干网络的P2；检测头的输入是BiFPN的输出。

2.4 损失函数和训练

检测损失的类别损失和前景损失采用Focal损失，边界框回归损失采用优化后的smoothL1损失。

分割损失结合了Tversky损失和Focal损失，Tversky损失可以改善类别不平衡问题。

3 试验

3.1 试验设置

RTX3090，epochs=200，batch-size=16

3.4 实验结果

目标检测

可行驶区域分割

车道线检测

HybridNets: End-to-End Perception Network相关推荐

【推荐系统】DUPN:Deep User Perception Network
论文地址: https://arxiv.org/pdf/1805.10727.pdf Perceive Your Users in Depth: Learning Universal User Rep ...
OmniDet: Surround View Cameras based Multi-taskVisual Perception Network for Autonomous Driving 论文精读
OmniDet:基于全景摄像头的自动驾驶多任务视觉感知网络摘要环视鱼眼摄像头通常部署在自动驾驶中,用于车辆周围的360°近场感应.这项工作提出了一个基于未修正鱼眼图像的多任务视觉感知网络,以使车辆 ...
HybridNets:多任务端到端感知网络目标检测+可行驶区域+车道线检测
端到端的多任务感知网络:目标检测.车道线检测.可行驶区域分割,性能优于YOLOP,速度可实时. 论文 HybridNets: End-to-End Perception Network,代码已开源. ...
大数据分析和计算机视觉笔记 (8) - 卷积神经网络图像分析(Convolution Neural Network Image Analytic)
深度学习 - 卷积神经网络图片分析步骤视觉词袋法流程 (Bag-of-Visual-Word) 深度学习 (Deep Learning) 神经网络知识背景其他名词损失函数(loss funct ...
BERT gated multi-window attention network for relation extraction 用于关系抽取的BERT门控多窗口注意力网络
BERT gated multi-window attention network for relation extraction 用于关系抽取的BERT门控多窗口注意力网络 Abstract 实体关 ...
车道线检测2022新工作整理，2D、3D都有
车道线检测是自动驾驶中一项基础而重要的任务,学术和工业界一直投入了大量的工作.小汤也一直对车道线检测任务感兴趣,并在公司开发过相关功能.也分享过一些相关的文章: 相关链接(点击进入): 车道线检测综述 ...
环视感知网络的多任务和单任务之争
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达文章导读本文讨论的核心思想来源于如何将车辆等障碍物的目标检测和车位识别统一在一个神经网络中处理,这一 ...
ICRA 2021自动驾驶相关论文汇总 | 科研党看过来，全文干货
本文来源:知乎作者:wanghy,编辑:智车科技 / 导读 / ICRA(International Conference on Robotics and Automation)是IEEE机器人与自动 ...
ICRA2021| 自动驾驶相关论文汇总
作者丨wanghy@知乎来源丨https://zhuanlan.zhihu.com/p/378591025 编辑丨3D视觉工坊 ICRA 2021会议已经开完了, 特对自动驾驶相关文章进行总结,包括 ...

HybridNets: End-to-End Perception Network

摘要：