3D全景汽车辅助驾驶系统

北京交通大学 高奕，林春雨

(1-2．北京交通大学计算机与信息技术学院，北京市 100044)

作者简介：高奕(1996-)、女，湖北宜昌，计算机科学与技术，2014级，多媒体信息处理。

林春雨(1979-)、男，辽宁绥中，副教授，博士，图像视频处理和图像视频编解码

(《IEEE Transactions on Intelligent Transportation Systems》待刊登)

林春雨 副教授，博士

中文摘要：3D全景汽车辅助驾驶系统为驾驶员提供了逼真的车身四周全景图像，可以有效的消除视觉盲点。系统首先利用安装在车身四周的四个鱼眼镜头采集图像，然后按照相机标定、图像拼接和场景生成的顺序来构建符合视觉特性的三维行车环境，最终将3D环视全景图像呈现于汽车中控屏上。该系统采用一种独特的棋盘格来实现单张图像的标定算法以满足系统的实时性要求。在图像拼接过程中，算法建立三维船状模型为载体，使用两步法纹理映射以及图像融合处理，极大程度的保存图像真实的纹理信息。本系统所采用的图像拼接算法，可以有效降低计算复杂度，提高了拼接效率，在保证图像信息完整的情况下，提高全景图像的逼真度，优化系统的使用体验。

英文摘要：3D surround view for advanced driver assistance systems covering the automobile's around and helps the drivers to become aware of the driving environment and eliminates the visual blind spots. The system first uses four fish-eye lenses mounted around a vehicle to capture images. Then, according to the pattern of image acquisition, camera calibration, image stitching and scene generation, the 3D surround driving environment is created. The system only use one image to finish the camera calibration through a special designed checkerboard to achieve the real-time performance. Furthermore, in the process of image stitching, a 3D ship model is built to be the supporter, where texture mapping and image fusion algorithms are utilized to preserve the real texture information. The algorithms used in this system can reduce the computational complexity and improve the stitching efficiency. The fidelity of the surround view is also improved, thereby optimizing the immersion experience of the system under the premise of preserving the information of the surroundings.

关键词：鱼眼镜头；标定；全景；图像拼接；辅助驾驶系统

目前，汽车自动驾驶是学术界以及工业界争相研究的对象，但它的实现不仅是技术难题，也涉及安全、法律和道德等的各个方面[1]。相比之下，人为干涉的汽车辅助驾驶系统更容易实现。本文将介绍一个通过特殊鱼眼相机标定、透视变换、模型建立、纹理映射与图像融合等步骤实现的3D全景辅助驾驶系统，该系统可以有效的解决上述的问题，且生成的全景图像可以帮助驾驶员了解驾驶环境，消除视觉盲点，防止各种类型的隐患。

本文的整体构造如下：第一部分将对系统的构成及核心算法进行介绍；第二部分则通过系统的实际应用场景展示算法的主要性能和成像结果。

一、3D全景辅助驾驶系统

本系统由安装在车身前后保险杠以及左右后视镜下的四个鱼眼镜头及一个中控显示屏构成。鱼眼镜头的视野广达180度，可确保相邻视图间有足够的重叠区域，拼接算法得以实施，同时减少图像信息的损失。