目录

1 论文基本信息

2 主要内容

2.1 贡献与创新点

2.2 装备示意图

2.3 城市街道行驶时，相机的外部标定

2.4 使用立体相机，进行障碍物检测

2.4.1 概括

2.4.2 当前发展（state-of-the-art）

2.4.3 使用 Stereo Camera 进行障碍物检测 (Obstacle Detection)

2.4.4 涉及的知识域

2.5 红绿灯状态的识别

2.6 视觉自我运动估计(Visual Ego-Motion Estimation)

2.6.1 概括

2.6.2 当前发展（state-of-the-art）

2.6.3 涉及的知识域

2.7 Conclusions

3 经典引用

3.1 velodyne  激光雷达

3.2 相机标定

3.3 避障

3.4 地图表示

3.5 VO 视觉测量

3.6 卡尔曼滤波

1 论文基本信息

  • 出处：博士论文，Freie Universität Berlin (柏林自由大学)

    • 2012年,柏林自由大学继续当选德国11所精英大学之一。2020年在QS世界大学排名中位列第130位。

  • 年份：2020.1
  • 作者:   Tobias Langner

2 主要内容

2.1 贡献与创新点

  • 1. 提出一种实时在线标定方法，来确定安装在车辆上的摄像机的旋转矩阵；

    • 与文献中已知的大多数算法不同，它不依赖于专用的校准模式。
  • 2. 开发了基于嵌入式立体摄像机的三维障碍物检测方法；
  • 3. 使用两个独立的单目摄像机，和一个标注全局交通灯位置的数字地图，开发了一个交通灯探测系统；
    • 在柏林成功的进程公共展示，也促成了“2019迪拜世界无人驾驶交通挑战赛”的胜利。
  • 4. 开发了一个障碍物检测，和交通灯检测的应用；
  • 5. 提出了一种使用立体摄像机的深度测量，和光流，来估计自我车辆的线速度和角速度的方法。

2.2 装备示意图

  • 整车

  • 单相机：交通灯检测，相机校正
  • 立体相机：障碍物检测

2.3 城市街道行驶时，相机的外部标定

  • 概括：不借助标定物，基于图像，使用光流的方式，校正相机的旋转角度(rotation angles)。
  • 方式：
    • 基于平行线的透视线索，(Perspective Cues from Parallel Lines)
    • 来自运动流的透视线索，(Perspective Cues from Motion Flow)
    • 使用立体深度测量进行校正，(Calibration with Stereo Depth Measurements)

2.4 使用立体相机，进行障碍物检测

2.4.1 概括

  • 使用基于视觉的方法，在FPGA+CPU平台上，进行障碍物检测和自由空间(free space)的评估。
  • 现状：目前大部分智能汽车使用的是，LIDAR-based的障碍物检测和跟踪系统
    • 缺点：1）贵；2）缺少空间分辨力（spatial resolution）
  • 立体相机的深度测量的不确定性，会随距离增加而增加。

2.4.2 当前发展（state-of-the-art）

  • Perrollaz等人使用高斯分布对传感器噪声进行建模，计算每个3D点在多个占用网格单元上的加权更新。
  • 占用网格是三维点在参考平面上的网格单元上的投影。潜在障碍物的高度，是由网格单元相对于参考平面的累积高度，推断出来的。
  • 路面近似：
    • 平坦路面的假设是不充分的，更复杂的路面模型是必要的；
    • Wedel[20]等人，用b样条，来近似道路的高度轮廓；
    • Oniga[21]等人使用的二次曲面，来近似道路的高度轮廓。
    • Schauwecker[22]等人的避免了参考平面的概念，并提出了一种体积方法，从测量中产生体素。
      • 他们[21,22]还考虑了可见度方面，并根据高斯分布模型更新体素占用率。
  • 对比：
    • 激光雷达传感器的经典算法，在非结构化的三维点云上工作，并独立地更新每个三维点的单元；
    • 视差图像(Disparity images)是结构化的，因为三维近邻，意味着在图像坐标接近。
      • 因此，对视差图像进行分割，然后更新每个片段的单元格通常是有益的。
      • 这样，相邻点的相关性，可以滤除立体匹配算法引入的噪声和误差。
  • 视差分割（disparity segmentation）
    • 如果立体摄像机与路面平行安装，视差分割特别简单。然后，与道路正交的物体会有恒定的视差。
    • u-v视差法，是第一个用这种方法分析视差图的方法。
      • 它通过计算沿两个图像轴的视差分布直方图，来检测地面和垂直障碍物。
      • Li等人[23]，对u-v方法进行了改进，通过跟踪连续帧中的特征点，来分割独立运动的对象，来生成已占用网格单元的速度信息。
      • Mar´ın-Plaza[24]，结合u-v-disparity与射线追踪(ray-tracing)，计算每个网格单元阻塞概率。
      • Yu等人[24]，利用Dempster-Shafer理论将u-视差和v-视差空间融合，建立了传感器的不确定性模型。
      • Cordts等人提出了所谓的 stixel world，这是一个发现垂直条纹(几乎)恒定差异的细分。定义了可驱动空间的边界，并通过动态规划算法对单个离群点进行了平滑处理。
      • Harms等人[27]，利用垂直视差梯度，和与地平面的估计角度偏差，构建概率占用网格 (probabilistic occupancy grid)。
      • Badino等人通过[28]跟踪视差的速度，生成随机占用网格（stochastic occupancy grid）。

2.4.3 使用 Stereo Camera 进行障碍物检测 (Obstacle Detection)

  • 立体视觉三维点云在噪声、准确度和精度方面与激光雷达点云不同。
  • 因此，本文提出的障碍物检测系统，在二维/视差空间中运行，同时也考虑了三维约束。
    • 视差图像中的相邻像素，具有很强的相关性，因为它们很可能属于同一对象。

      • 通过这种方法，可以很容易地检测和删除，由不匹配或遮蔽区域引起的，异常值；
      • 基于对极几何和视差图计算的基本原理；
      • 同时，将结果与我们测试车上的Velodyne激光扫描仪的测量结果，进行比较。

2.4.4 涉及的知识域

  • 立体视觉的的对极几何

    • 极线约(Epipolar Constraints)的代数表达式
    • 标准立体匹配(Stereo Correspondence)问题
      • 给定参考视图中的图像特征，在另一个视图中，找到相同的对应3D点的投影。
    • 视差与深度的关系
      • 由于对应的点具有相同的y坐标，所以只有视差(水平偏移量)是相关的。
  • 三维图像分割
    • 垂直等深条纹检测(V-Stripes)

      • 在三维图像中搜索一列宽的垂直条纹，相对于局部汽车坐标系大致恒定的纵向距离。
    • v形条纹的横向合并
    • 填充占用网格
  • 总结：
    • 相机的深度测量噪声，与 Velodyne laser scanner 对比，相当高。

      • JOCOMMENT: can try to do something.
    • 逐帧目标检测的位置不确定性，随目标距离的增大，而增大。
    • 图像中的目标边界，比距离测量更加鲁棒！
      • 因为深度边缘，为分割提供了很强的先验知识。
      • 因此，基于图像的障碍物跟踪，比三维跟踪(3D tracking)更稳定。
    • 通过过滤随时间变化的距离估计，可以改进静态对象的定位。

2.5 红绿灯状态的识别

  • 概括：

    • 使用对象检测方式，检测交通灯状态。
    • 若有标注地图（an annotated map）的辅助时，将地图提供的汽车的位置+交通灯的位置和高度，投影到相机中，表现为兴趣位置，来识别交通灯信号。
      • JOCOMMENT：未来HAD地图的发展，应该会含有高精度的信息，和有利于自动驾驶的信息，如交通灯的位置和高度。
    • 当标注地图不可用时，就使用对象检测方法，根据形状进行检测交通灯的位置和信号，在检测成功后，将交通灯的位置，存入地图中。
      • JOCOMMENT：迭代更新的方式，可以保证交通信号灯的实时最新状态。
  • 原理流程图：
  • 总结：
    • 条件：

      • 检测由一张标注了红绿灯位置，及其含车道关联信息的地图；
      • 使用的是两个单目摄像机 (two monocular cameras)。
    • 街上的交通拥挤时，大型车辆可能会挡住交通灯的视线；
    • 有两种光源，一种是LED灯，另一种是由镜子聚焦的传统灯泡；
      • led几乎可以向任何方向发出明亮的光；
      • 而传统的灯只有一个窄锥状的高亮度。
    • 主要挑战：
      • 其他车辆的遮挡；
      • 一些非LED交通信号灯的高亮度窄锥。

2.6 视觉自我运动估计(Visual Ego-Motion Estimation)

2.6.1 概括

  • 目的：

    • 使用嵌入式立体相机，基于光流分割(sparse optical flow)和视差图(disparity maps)的方法，
    • 检测并移除动态物体，实现汽车线速度和角速度的评估。
  • 思想：
    • 单目自我运动估计的主要挑战是，独立运动的存在，即其他车辆或行人的存在。
    • 通过立体相机，同时捕捉两幅图像，这样就可以很容易地从一般的运动场中，分离出自我运动。

2.6.2 当前发展（state-of-the-art）

  • 相关研究:

    • Nister等人[49]，从立体图像中提取 Harris corners，并用归一化互相关窗口进行匹配；

      • 随着时间的推移，对三角化的3D点进行跟踪，并使用RANSAC方案和迭代，细化生成姿态。
      • 作者进行了地面车辆测试，并报告了1%到2%的测量距离的相对误差。
    • Agrawal等人提出了一种结合低成本GPS接收机的立体相机定位方法；
      • 作者从跟踪的三组点生成运动假设，并使用RANSAC进行评估。
      • 如果视差空间单应性在第二视图上产生较低的平均重投影误差，则转换被认为是一个离群点。
      • 其实验结果表明，相对距离误差在2%到5%之间。
    • Howard等人[51]，提出了一种估计连续立体图像帧间的自我运动的算法；
      • 并报告了其400米长的路线，相对距离误差为0.25%。
    • Talukder等人[52]，提出了一种将稠密的立体视差图与稠密的光流相结合的方法。
    • Badino等人通过跟踪3D点随时间的变化，从视差图构建了一个3D运动场。
      • 将逐帧运动估计与前一帧进行配准，提高了运动估计的鲁棒性和准确性。
      • 其试验结果表明，700米的相对位移误差为4.5%。
  • 概念：
    • 光流

      • 运动场(the motion field)，是描述三维点相对于摄像机的运动的向量场。
      • 除了光照变化外，运动流是引起图像强度变化的主要原因，也称为光流。
    • 为什么使用立体相机？
      • 在静态场景中，光流完全是由摄像机的运动引起的。独立运动物体的存在，会引起额外的光流。
      • 在单目摄像机中，这两个分量不易分离，这给视觉自运动估计带来了挑战。

2.6.3 涉及的知识域

  • 运动投影

    • 速度：为点P在摄像机中连续投影位置的差值
  • 利用光流和视差图重建运动场
    • 运动场在图像上的投影可以用光流来测量，光流定义为像素随时间的强度变化。
    • 光流依赖于亮度-恒常性假设
      • 假定运动物体在连续帧上的投影强度是相同的。这是对小时间间隔的合理简化，因为照明条件在短时间内变化不大。
      • OpenCV的光流实现，被用来计算关键点描述符上的稀疏光流。
    • 光流通过立体深度测量得到增强，重建了一个稀疏的三维运动场。
    • 原理图：
  • 使用卡尔曼滤波进行速度平滑
  • 效果图：
  • 总结：
    • 该算法利用立体深度测量来识别属于远三维点的光流。
    • 根据中心投影方程，这种光流几乎完全是由相机的旋转运动引起的。
    • 这种光流分离，被用来分别估计相机在连续帧之间的，旋转和平移部分。
    • 实验结果表明，纵向速度(longitudinal speed)和偏航率(yaw rate)的估计是准确的，横向速度(lateral speed)的估计是合理的。
      • 由于高频振荡，俯仰和横滚(Pitch and roll)估计是充满噪音的。

2.7 Conclusions

  • 本文的标定方法，

    • 能够从零开始标定或迭代细化车载相机的旋转参数。

      • 它不依赖于一个专门的校准物(calibration target)。
      • 它使用的是在测试驾驶过程中，通过图像计算出的光流。
        • 该方法利用了汽车必须遵守的运动限制这一事实，从而产生独特的光流模式。
      • 光流在极点上收敛，用极点的分布，来恢复相机相对于车架的旋转矩阵。
        • 对几种不同安装方式的相机进行了实验评价，得到了方差递减、收敛性好的标定结果。
  • 障碍物检测框架
    • 使用嵌入式立体相机的深度测量，并生成障碍物和自由空间的表示。
    • 它执行了一个混合的2D/3D分割，它执行了在图像空间和3D空间中定义的启发式约束。（创新点）
      • 对基于lidar的占用网格的评估显示：可驾驶空间边界的高度的一致性，
      • 但也确定了立体摄像机的功能原理造成的限制性。
    • 实验结果表明，超过30米的距离时，精度下降明显！
      • 表明立体相机，不能作为一个立即使用的(drop-in)替代激光雷达传感器的功能。
  • 纯立体相机提供的视觉输入，来估计自我运动。
    • 结合视差图和光流图的兴趣点，在时间和空间上进行跟踪，以估计车辆的运动。
    • 主要的挑战是静态环境和动态环境的分离。后者导致运动流与自我运动流不一致。
    • 在这里，我实现了一个新颖的想法，通过点的三维距离来分离点的光流。（创新点）
    • 远处的点对光流几乎没有贡献。它们？提供了一种可靠的方法来估计相机的帧间旋转。
    • 从流场中去除旋转分量，大大简化了线速度的估计。

3 经典引用

3.1 velodyne  激光雷达

  • “Technical documentation for the velodyne hdl-64e s2 laser scanner." https://www.velodynelidar.com/hdl-64e.html. Accessed: 2019-12-09.

3.2 相机标定

  • R. Cipolla, T. Drummond, and D. P. Robertson, "Camera calibration from vanishing points in image of architectural scenes.," in BMVC, vol. 99, pp. 382{391, 1999. 被引用次数：298
  • E. Rehder, C. Kinzig, P. Bender, and M. Lauer, "Online stereo camera calibration from scratch," in Intelligent Vehicles Symposium (IV), 2017IEEE, pp. 1694{1699, IEEE, 2017.  被引用次数：6

3.3 避障

  • M. Perrollaz, A. Spalanzani, and D. Aubert, "Probabilistic representation of the uncertainty of stereo-vision and application to obstacle detection," in Intelligent Vehicles Symposium (IV), 2010 IEEE, pp. 313{318, IEEE, 2010.被引用次数：58

3.4 地图表示

  • K. Schauwecker and A. Zell, "Robust and efficient volumetric occupancy mapping with an application to stereo vision," in Robotics and Automation (ICRA), 2014 IEEE International Conference on, pp. 6102{6107,IEEE, 2014 被引用次数：18
  • Y. Li and Y. Ruichek, "Occupancy grid mapping in urban environments from a moving on-board stereo-vision system," Sensors, vol. 14, no. 6, pp. 10454{10478, 2014.被引用次数：33
  • C. Yu, V. Cherfaoui, and P. Bonnifait, "Evidential occupancy grid mapping with stereo-vision," in Intelligent Vehicles Symposium (IV), 2015 IEEE, pp. 712{717, IEEE, 2015. 被引用次数：15
  • M. Cordts, T. Rehfeld, L. Schneider, D. Pfeiffer, M. Enzweiler, S. Roth, M. Pollefeys, and U. Franke, \The stixel world: A medium-level representation of traffic scenes," Image and Vision Computing, vol. 68, pp. 40{52, 2017.被引用次数：24
  • H. Harms, E. Rehder, and M. Lauer, "Grid map based free-space estimation using stereovision," in Proc. Workshop Environment Perception Automated On-road Vehicles, IEEE Intelligent Vehicles Symposium, 2015被引用次数：10

3.5 VO 视觉测量

  • D. Nist´er, O. Naroditsky, and J. Bergen, "Visual odometry for ground vehicle applications," Journal of Field Robotics, vol. 23, no. 1, pp. 3{20, 2006. 被引用次数：778
  • A. Howard, "Real-time stereo visual odometry for autonomous ground vehicles," in Intelligent Robots and Systems, 2008. IROS 2008. IEEE/RSJ International Conference on, pp. 3946{3952, IEEE, 2008 被引用次数：443
  • 光流：A. Talukder and L. Matthies, "Real-time detection of moving objects from moving vehicles using dense stereo and optical flow," in Intelligent Robots and Systems, 2004.(IROS 2004). Proceedings. 2004 IEEE/RSJ International Conference on, vol. 4, pp. 3718{3725, IEEE, 2004 被引用次数：172

3.6 卡尔曼滤波

  • G. Welch, G. Bishop, et al., "An introduction to the kalman filter," 1995. 被引用次数：8487

论文笔记_CV_AD_Visual Perception for Autonomous Driving相关推荐

  1. 论文笔记-Optimized flocking of autonomous drones in confined environments

    文章目录 个人总结 摘要 Introduction Flocking model instantiation through evolutionary optimization Scalability ...

  2. 【论文笔记】Enhanced Decentralized Autonomous Aerial Swarm with Group Planning

    摘要:自主空中蜂群仍然是机器人技术的一大挑战.该领域的现有工作可分为集中式和分散式.集中式方法面临规模困境,而分散式方法往往导致规划质量差.在本文中,我们提出了一个具有群规划的增强型分散式自主空中群系 ...

  3. [论文解读] DeepRoad: GAN-Based Metamorphic Testing and Input Validation Framework for Autonomous Driving

    DeepRoad: GAN-Based Metamorphic Testing and Input Validation Framework for Autonomous Driving System ...

  4. Autonomous Driving in Adverse Weather Conditions: A Survey - 恶劣天气条件下的自动驾驶：一项调查 (arXiv 2021)

    Autonomous Driving in Adverse Weather Conditions: A Survey - 恶劣天气条件下的自动驾驶:一项调查(arXiv 2021) 摘要 1. 引言 ...

  5. 点云 3D 目标跟踪 - SimTrack: Exploring Simple 3D Multi-Object Tracking for Autonomous Driving（ICCV 2021）

    点云 3D 目标跟踪 - SimTrack(ICCV 2021) 摘要 1. 引言 2. 相关工作 3. 方法 3.1 准备工作 3.2 概述 3.3 联合检测和跟踪 4. 实验 4.1 数据集 4. ...

  6. 【论文笔记】Exploring Simple 3D Multi-Object Tracking for Autonomous Driving

    文献来源 Luo C , Yang X , Yuille A . Exploring Simple 3D Multi-Object Tracking for Autonomous Driving[C] ...

  7. 论文精读及分析：Deep Multi-Modal Object Detection and Semantic Segmentation for Autonomous Driving

    本文主要内容为论文<Deep Multi-Modal Object Detection and Semantic Segmentation for Autonomous Driving:Data ...

  8. 【论文阅读】Causal Imitative Model for Autonomous Driving

    Sensor/组织: EPFL Sharif University of Technology Status: Finished Summary: 看看框架图就行.高效缓解因果混淆问题,将因果作为学习 ...

  9. Too Good to Be Safe: Tricking Lane Detection in Autonomous Driving with Crafted Perturbations 论文报告

    一.论文信息 标题:Too Good to Be Safe: Tricking Lane Detection in Autonomous Driving with Crafted Perturbati ...

  10. 《论文阅读》Efficient LiDAR Odometry for Autonomous Driving

    留个笔记自用 Efficient LiDAR Odometry for Autonomous Driving 做什么 Lidar Odometry激光雷达里程计,里程计作为移动机器人相对定位的有效传感 ...

最新文章

  1. java8 同步队列_秋招之路8：JAVA锁体系和AQS抽象队列同步器
  2. 一致性哈希算法——算法解决的核心问题是当slot数发生变化时，能够尽量少的移动数据
  3. VMware vSphere Client中启动虚拟机提示No boot filename received/Operating System not found解决方法
  4. 几种TCP连接中出现RST的情况
  5. html5动态圆,HTML5 很有创意的圆形导航动画
  6. python将字典导入excel_python将字典列表导出为Excel文件的方法
  7. Python到底是什么？Python发展前景好吗？
  8. oracle 归档日志
  9. 中国工程院撤销李宁院士称号
  10. srsLTE源码学习：RLC,无线链路控制子层抓包rlc_pcap.h，rlc_pcap.cc
  11. php 判断是否为安卓,通过http user-agent判断是否为手机浏览器
  12. Microsoft® Deployment Toolkit 2010之快速部署Windows 7
  13. 2021时间序列-对比学习必读的四篇论文
  14. bootStrap 搜索框
  15. 物联网应用网站数据库设计
  16. Android中action启动方法大全
  17. 用三色带摄像管替换电视机显像管的摄像机
  18. 公司研发人员（含测试）经理、组长能力评价表
  19. YiLu代理中住宅IP代理和数据中心/机房IP代理分析及对比
  20. hive 使用beelin连接报错

热门文章

  1. # bucketSort 箱排序 也称桶排序
  2. Linux系统常见的压缩与打包命令
  3. Windows 下安装 nvm 管理 nodejs 版本
  4. #425[div2]
  5. 《How to bake LightMap》
  6. 洛谷1309 瑞士轮 解题报告
  7. 你会如何优化应用程序的性能？
  8. 运行Android项目时指定特定的AVD进行测试
  9. java基础杂谈（三）
  10. Thinking in Java 16.3返回一个数组