OmniNet:基于环视鱼眼镜头的多任务视觉感知系统
作者丨黄浴@知乎
来源丨https://zhuanlan.zhihu.com/p/351965263
编辑丨3D视觉工坊
2021年2月15日上传arXiv论文:“OmniDet: Surround View Cameras based Multi-task Visual Perception Network for Autonomous Driving”,作者来自Valeo公司和德国一所大学。
本文讨论的是一个环视鱼眼镜头的多任务视觉感知系统,其完成的包括:深度估计、视觉里程计、语义和运动分割、目标检测和镜头污染检测。特别是提出了一个camera geometry based adaptation mechanism,对镜头畸变模型编码。由于方框不适合鱼眼镜头图像的目标表示,采用了polygon with non-uniformly sampled vertices。
整个网络称为OmniDet模型,输出结果如图为例:(a) Rear-Camera Input Image, (b) Distance Estimation, (c) Semantic Segmentation, (d) Motion Estimation, (e) 24-sided Polygon based Object Detection 和 (f) Soiling Segmentation (asynchronous)。
首先是无监督深度估计和视觉里程计:基于作者以前的工作FisheyeDistanceNet。
目标检测:采用YOLO3,基于针对鱼眼镜头的目标polygon表示,即PolyYOLO。
关于目标表示法的性能比较如表:
分割任务是有监督的:基于Lovasz-Softmax loss 和 Focal loss。
污染检测:基于作者之前的模型SoilingNet,但采用asynchronous backpropagation,调整解码器部分,训练中固定编码器部分。输出也从格子变成pixel level segmentation。
如表是joint training中任务加权方法比较:其中有 uncertainty loss (Kendall), gradient magnitude normalization GradNorm, dynamic task prioritization DTP, dynamic weight average DWA 和 geometric loss。作者提出的是VarNorm for variance normalization。
本文提出camera geometry tensor 处理 multiple viewpoints,类似工作如CAM-Convs;同时改变camera’s intrinsic distance estimation方法。
在Woodscape fisheye dataset, 有12 组不同的摄像头,其intrinsic parameter有些变化。采用单个模型的好处是:(1) 嵌入系统而已,这样存储小,数据读取快,效率高;(2) 训练数据更大 和不同视角图像正则化容易;(3) 维护模型简单。
如图所示:上述工作即Self-Attention Network (SAN) encoder module。
在多任务的框架下,协调工作有:
1)处理动态目标和无限深度范围;
2)语义导引的深度头和检测头;
3)自注意机制和语义特征对检测的帮助。
这些工作带来的性能提升见下表:
这是深度模型估计的性能比较:
这是VO模型的性能比较:
关于多任务和单任务训练的性能比较如下表:
本文仅做学术分享,如有侵权,请联系删文。
下载1
在「3D视觉工坊」公众号后台回复:3D视觉,即可下载 3D视觉相关资料干货,涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
下载2
在「3D视觉工坊」公众号后台回复:3D视觉github资源汇总,即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。
下载3
在「3D视觉工坊」公众号后台回复:相机标定,即可下载独家相机标定学习课件与视频网址;后台回复:立体匹配,即可下载独家立体匹配学习课件与视频网址。
重磅!3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群,目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球:针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近3000星球成员为创造更好的AI世界共同进步,知识星球入口:
学习3D视觉核心技术,扫描查看介绍,3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用,麻烦给个赞和在看~
OmniNet:基于环视鱼眼镜头的多任务视觉感知系统相关推荐
- 【camera-radar】基于ROS的多传感器融合感知系统实现(雷达+相机)(3)
实现功能:代码下载地址:下载地址 1)基于深度学习的目标检测:2)基于雷达的距离估计和预测:3)多传感器感知结果融合模块. 雷达感知模块解析 4. Run nodes: python3 fusion_ ...
- 【camera-radar】基于ROS的多传感器融合感知系统实现(雷达+相机)(2)
实现功能:代码下载地址:下载地址 1)基于深度学习的目标检测:2)基于雷达的距离估计和预测:3)多传感器感知结果融合模块. 相机感知模块解析 4. Run nodes: python3 fusion_ ...
- 【camera-radar】基于ROS的多传感器融合感知系统实现(雷达+相机)(1)
实现功能:代码下载地址:下载地址 1)基于深度学习的目标检测:2)基于雷达的距离估计和预测:3)多传感器感知结果融合模块. 环境配置.数据下载.节点启动 1. Install ROS melodic: ...
- 【数字图像处理】2.1 人类的视觉感知系统
人眼基本构造 首先了解一下人眼的几个重要的构造(好像回到初中生物课2333): 晶状体:可以依靠肌肉的收缩.扩张来控制焦距. 视网膜:布满了整个后部的内壁.当眼睛适当地聚焦时,来自眼睛外部物体的光在视 ...
- 自动驾驶的视觉感知包括哪些内容?
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 本文转自:3D视觉工坊 文章导读 本文针对自动驾驶行业的视觉感知做 ...
- 自动驾驶多目视觉感知
来源 | 巫婆塔里的工程师@知乎 转自 | 汽车电子与软件 1 前言 从输出维度的角度来看,基于视觉传感器的感知方法可以分为2D感知和3D感知两种. 从传感器的数量上看,视觉感知系统也分为单目系统,双 ...
- 基于计算机视觉的无人驾驶感知系统
本文着重介绍基于计算机视觉的无人驾驶感知系统.在现有的无人驾驶系统中,LiDAR是当仁不让的感知主角.但是由于LiDAR的成本高等因素,业界有许多是否可以使用成本较低的摄像头去承担更多感知任务的讨论. ...
- 【无人驾驶三】基于计算机视觉的无人驾驶感知系统
作者简介: 吴双,原百度研究院硅谷人工智能实验室高级研究员,百度美国研发中心高级架构师.美国南加州大学物理博士,加州大学洛杉矶分校博士后,研究方向包括计算机和生物视觉,互联网广告算法,互联网文本和视 ...
- 视觉感知在数据可视化中的作用
数据可视化的目标是让用户最真实.最高效的接收到界面所传达的信息内容.在过去很长的一段时间,数据可视化是将线下信息移至线上,形成简单数字化模型,达到高效.易懂的展示交互目标. 1.感知与可视化 高效的计 ...
最新文章
- 2020-11-23(dll注入方法)
- F# 和Silverlight 4
- JS的indexOf
- 音视频技术开发周刊 | 166
- 贷款不还会有什么后果?
- gradle 安装_如何安装Gradle
- Android Studio快捷键(MAC版)
- python批量_Python学习第九十三天:Python批量处理图片
- python读入txt数据,并转成矩阵
- 微课|中学生可以这样学Python(5.7节):序列解包
- 入门教程:.NET开源OpenID Connect 和OAuth解决方案IdentityServer v3 介绍 (一)
- 神奇的机器人评课_神奇的机器人教学案
- poythoncode-实战2--常用方式for、while、dict、list
- sencha touch 2中list控件分组排序
- .net core webapi 导出excel(两种方式EPPLUS、NPOI),返回下载地址或文件流
- 使用java实现数据库编程 第一章:数据库的设计
- 关于搭建测试环境(详细)
- 曲率、曲率(对弧长)的导数以及曲率导数(对弧长)的导数的计算
- ceph集群全部停机开机
- Lucene.Net的简单练习
热门文章
- Entity Framework 5中遇到的 mysql tinyint(1) 转换为 bool 的问题 (我用的是VS2013中的EF5版本)...
- 使用 Nginx 和 Memcached 对 WordPress 的整页做缓存
- nginx日记分割脚本
- php各种编码集详解和在什么情况下进行使用 [php 字符集 显示]
- MySQL基础篇:事务管理
- MySQL基础篇:逻辑架构
- 性能指标:QPS、TPS、RT、吞吐量
- 高效排序算法(快排序)
- 秒懂上线必不可少的安全测试!
- Hive MetaStore 在快手遇到的挑战与优化