自动驾驶的Pipline -- 如何打造自动驾驶的数据闭环？（上）
转载自
https://zhuanlan.zhihu.com/p/391629735
三篇文章全集：
- 自动驾驶的Pipline – 如何打造自动驾驶的数据闭环？（上）
- 自动驾驶的Pipline – 如何打造自动驾驶的数据闭环？（中）
- 自动驾驶的Pipline – 如何打造自动驾驶的数据闭环？（下）
最近自动驾驶和数据闭环结合在一起，原因是自动驾驶工程已经被认可是一个解决数据分布“长尾问题”的任务，时而出现的corner case（极端情况）是是对数据驱动的算法模型进行升级的来源之一，如图所示。
构成这个自动驾驶数据闭环的核心技术和模块都有哪些呢？首先是这个自动驾驶的算法和模块是数据驱动的，其次源源不断的数据需要有合理有效的方法去利用。
如图是Tesla众所周知的Autopilot数据引擎框架：确认模型误差、数据标注和清洗、模型训练和重新部署。
这是谷歌waymo报告提到的数据闭环平台：其中有数据挖掘、主动学习、自动标注、自动化模型调试优化、测试校验和部署发布。
如图是英伟达公司在自动驾驶开发建立的机器学习平台MAGLEV，也是基于闭环的模型迭代：其中有smart的数据选择、数据标注、模型搜索、训练、评估、调试和部署。
下面对数据闭环各个组成部分进一步讨论：
- 自动驾驶的数据驱动模型；
- 云计算平台的基建和大数据处理技术；
- 训练数据标注工具；
- 大型模型训练平台；
- 模型测试和检验；
- 相关的机器学习技术。
1 自动驾驶的数据驱动模型
应该说，自动驾驶的算法模块，基本都是数据驱动的训练模型要优于基于规则或者优化的，尤其是感知和预测。
以下图（综述论文 “A Survey of Autonomous Driving: Common Practices and Emerging Technologies”）为例，现在自动驾驶的开发基本是模块化的（a），只有个别是采用端到端模式（b）。
端到端模式可以说绝对是数据驱动的（如图为例），因为传统的优化和规则方法无法处理如此复杂的系统设计和公式化。
1.1 模块化的方法也是可以采用数据驱动方式，可以分成以下模块：
- 感知：图像/激光雷达/毫米波雷达
- 地图+定位
- 预测（感知-预测）
- 规划决策（预测-规划）
- 控制（规划-控制）
- 传感器预处理
- 模拟仿真
1.1.1）感知
2-D/3-D 目标检测和分割基本是采用深度学习模型，无论激光雷达、摄像头或者传感器融合的形式；跟踪基本是tracking-by-detection方式，不过把跟踪和检测集成在一起做深度学习模型也是大家讨论的热点之一。
“Keep your Eyes on the Lane: Real-time Attention-guided Lane Detection”
“M3DSSD: Monocular 3D Single Stage Object Detector”
“PointPillars: Fast Encoders for Object Detection from Point Clouds”
“Joint 3D Proposal Generation and Object Detection from View Aggregation”
”Seeing Through Fog: Deep Multimodal Sensor Fusion in Unseen Adverse Weather“
“Fast and Furious: R-T E2E 3D Detection, Tracking Motion Forecasting with a Single Cnn”
1.1.2）地图定位
车辆定位中基于语义地图的方法，在语义目标提取也是采用深度学习模型，甚至语义地图的制作也是如此，目前感兴趣的地图更新（或者在线地图）多半需要检测语义目标。定位的后端也可以是数据驱动的解决，包括全局定位和相对定位，最近SLAM和深度学习的结合工作也如火如荼进行。
“LCDNet: Deep Loop Closure Detection andPoint Cloud Registration for LiDAR SLAM”
“DeepSFM: Structure From Motion Via DeepBundle Adjustment”
“HDMapNet: An Online HD Map Construction and Evaluation Framework”
1.1.3）预测
障碍物的轨迹预测现在已经是自动驾驶发展至今的重点之一，现在重要性可以说是高于感知。如何建模智体行为、如何建模智体之间的交互和轨迹预测的动作多模态性，自然最佳方式是采用数据来训练。另外，感知-预测结合解决也是需要大量数据训练去得到合理的模型。
“Learning Lane Graph Representations for Motion Forecasting”
“PnPNet: End-to-End Perception and Prediction with Tracking in the Loop”
“Deep Multi-Task Learning for Joint Localization, Perception, and Prediction”
“TNT: Target-driven Trajectory Prediction”
1.1.4）规划
规划问题可以是传统的规则方法，也可以是强化学习或者模仿学习，其中强化学习也需要数据学习惩罚/奖励和策略。目前人们关心规划的地域化和个性化问题，这个比起感知的类似问题解决起来更加困难，比如激进还是保守地进行换道超车和并道汇入。最近有讨论合并预测和规划的解决方法，甚至包括地图定位一起建模，这个没有数据的“喂养”是很难成立的。
“DSDNet: Deep Structured self-Driving Network”
“End-to-end Interpretable Neural Motion Planner”
“MP3: A Unified Model to Map, Perceive,Predict and Plan”
“Probabilistic Anchor Trajectory Hypotheses For Behavior Prediction”
“VectorNet: Encoding HD Maps and Agent Dynamics From Vectorized Representation”
“Deep Imitation Learning for AV in Generic Urban Scenarios with Enhanced Safety”
“Perceive, Predict, and Plan: Safe Motion Planning Through Interpretable Semantic Rep”
1.1.5）控制
应该说，控制的传统方法相对成熟，不过并不是说数据驱动就没有价值，实际上规划和控制的确集成在一起建模也是大家感兴趣的领域，前面提到的强化学习和模仿学习同样是不错的解决手段。
“A Fast Integrated Planning and Control Framework for AV via Imitation Learning”
“Deep Imitative Models For Flexible Inference, Planning, And Control”
1.1.6）传感器预处理
在进入感知模块之前，传感器的数据处理，比如污染检测、修补、去噪和增强等，传统的方法也会被数据驱动的机器学习方法取代。
“ZeroScatter: Domain Transfer for Long Distance Imaging and Visionthrough Scattering Media”
1.1.7）模拟仿真
模拟仿真需要对车辆/行人、传感器、交通环境和道路环境建模，有时候无法直接获得逼真的合成模型，特别是实际发生的交通事件，有时候不得不采用真实传感器数据来建模合成。下图是GAN-based的雨夜图像合成方法。
“ForkGAN: Seeing into the Rainy Night”
自动驾驶的Pipline -- 如何打造自动驾驶的数据闭环？（上）相关推荐
- 自动驾驶数据闭环系列之一：理想丰满，现实骨感
交流群 | 进"传感器群/滑板底盘群/汽车基础软件群/域控制器群"请扫描文末二维码,添加九章小助手,务必备注交流群名称 + 真实姓名 + 公司 + 职位(不备注无法通过好友验证) ...
- 一文详解自动驾驶数据闭环 | 大数据管理！
编辑 | 无人驾驶俱乐部 点击下方卡片,关注"自动驾驶之心"公众号 ADAS巨卷干货,即可获取 点击进入→自动驾驶之心[全栈算法]技术交流群 数据闭环涉及较多领域,本期主题则是五大 ...
- 自动驾驶数据闭环，要么被高估了，要么被低估了？
在和身边的人沟通自动驾驶的数据闭环时,会碰到两类典型的人:第一类,当你给他讲数据闭环的时候,他的眼神是迷茫的,好像没有引起太多的重视和共鸣,甚至有人会反馈:"嗯,这个没什么,我们以前干的差不 ...
- 华为天才少年一人打造自动驾驶！
点上方计算机视觉联盟获取更多干货 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:新智元 AI博士笔记系列推荐 周志华<机器学习>手推笔记正式开源!可打印版本附pdf下载链接 B站 ...
- 打车平台Lyft获Magna 2亿美元投资，携手打造自动驾驶汽车
Root 编译整理 量子位 出品 | 公众号 QbitAI 目前,汽车共享出行的里程数,占所有汽车行驶总里程数的比例还不到1%. "如果要增加到80%,"打车平台Lyft CEO ...
- 深度解析，教你如何打造自动驾驶的数据闭环
最近自动驾驶和数据闭环结合在一起,原因是自动驾驶工程已经被认可是一个解决数据分布"长尾问题"的任务,时而出现的corner case(极端情况)是对数据驱动的算法模型进行升级的来源 ...
- 自动驾驶芯片_盘点全球自动驾驶芯片“战场”参与者
据了解,目前出货量最大的驾驶辅助芯片厂商Mobileye.Nvidia形成"双雄争霸"局面,Xilinx则在FPGA的路线上进军,Google.地平线.寒武纪向专用领域AI芯片发力 ...
- 疲劳驾驶数据集_Lyft开源L5自动驾驶数据集：55000个人工标注的3D注释框架，还有高清空间语义地图...
铜灵 发自 凹非寺 量子位 出品 | 公众号 QbitAI 今天,又有新的自动驾驶数据集开源了. 数据集来自Lyft,官方称作是目前同类产品中最大的公开数据集. 这份L5数据集内容丰富,加入了原始传感 ...
- 自动驾驶/智能网联在高速公路自动驾驶货车示范应用现状
自动驾驶技术在封闭性结构化道路中最容易实现率先落地,高速公路作为典型的封闭性结构化道路,有利于自动驾驶技术商业化的快速落地.货车作为运输的重要载体,其行驶特点也更适合自动驾驶技术的实现.因此,众多厂商 ...
- 自动驾驶中的人工智能技术,自动驾驶与人工驾驶
汽车自动驾驶控制系统属于什么操作系统? 汽车自动驾驶系统(Motor Vehicle Auto Driving System),又称自动驾驶汽车(Autonomous vehicles:Self-pi ...
最新文章
- 最新综述：激光雷达感知深度的域适应方法
- sqlserver数据恢复（100%可用）
- Android项目集成Weex
- TabActivity中子Activity相互跳转，及某个Tab需弹出窗的解决方案
- Linux下开发常用的CVS使用手册
- win10计算机屏幕暗怎么办,Win10系统调节不了屏幕亮度怎么办
- java用输入流创建数据文件_java开发知识IO知识之输入输出流以及文件
- 7、Fiddler的HTTP统计视图
- 酷我 android 目录,酷我听听：Android平台最强音乐播放器
- 基于Java gui的超市管理系统
- linux 合并多个文本文件到一个文件*.txt1.txt,合并多个文本文件方法
- 备案指的是域名还是服务器？
- QQ浏览器+7654联盟
- 小米手机root步骤
- 解决 IIS 部署网站引用 woff/woff2/svg 字体报 404 错误
- matlab hist3函数,matlab – 是否有可能使hist3图更平滑？
- 请不要叫我小编，我是神圣的内容产品经理
- 背单词App开发日记4
- Jinji2 模板引擎简介
- 蓝牙（四）LMP协议解析之二