ADAS摄像头图像环视拼接算法

输入输出接口

Input：

（1）4个摄像头采集的图像视频分辨率（整型int）

（2）4个摄像头采集的图像视频格式（RGB，YUV，MP4等）

（3）摄像头标定参数（中心位置（x,y）和5个畸变

系数（2径向，2切向，1棱向），浮点型float）

（4）摄像头初始化参数（摄像头初始位置和三个坐标方向

的旋转角度，车辆宽度高度车速等等，浮点型float）

Output：

（1）图像融合和拼接的image/video的坐标位置（浮点型float）

（2）图像融合和拼接的图像视频分辨率（整型int）

（3）图像融合和拼接的图像视频格式（RGB，YUV，MP4等）

（4）车辆周围障碍物报警（字符型char）

22.1 功能定义

1）计算图像融合和拼接的image/video的坐标位置。

2）算出图像融合和拼接的图像视频分辨率。

3）确定图像融合和拼接的图像视频格式。

4）检测车辆周围障碍物并报警。

22.2 技术路线方案

在360°全景视图泊车辅助系统中，通过安装在车辆前、后、左、右 4 个方位的广角摄像头采集车辆四周的视频影像，利用图像融合和拼接技术合成一幅车身周围的全景视图，最后在中控台的屏幕上显示，以扩大驾驶员视野。借助360°全景视图泊车辅助系统，驾驶员坐在车中即可直观地看到车辆周围是否存在障碍物以及障碍物的相对方位与距离，以便在狭窄拥堵的停车场从容操控车辆泊车入位或通过复杂的路面，可有效防止刮蹭、碰撞、陷落等事故的发生。同时，全景视图也可以为自动驾驶系统中识别、检测、跟踪等算法提供支持。

富士通(Fujitsu)开发的视频成像技术，
可实时实现车辆的完整360°环绕视图。四个相机安装在车辆前后左右周边，车辆周围环境的视频图像通过富士通的3D虚拟投影/视点转换技术进行合成。先进的三维算法可以比较流畅地结合四个独立相机的图像，提供一个无缝和清晰的360°视图。具体来说，四个摄像头的图像被发送到视频处理LSI，包括视频捕捉和3D功能，然后相机图像合成为单个实时3D图像并投影到三维碗形网格，生成虚拟3D环绕视频，可以任意转换车辆周围环境视图视角。

图1. 富士通环视方案流程图

为了满足视频拼接的实时性要求，同时考虑到摄像头安装的位置、角度以及不同摄像头之间相互位置相对固定，在本项目中可以使用基于特定图像拼接与查表法相结合的多视点视频拼接方法。在初始化阶段，首先采集预先放置于车辆前、后、左、右 4个方位的带有棋盘格的标定图像，利用标定图像分别对4个摄像头进行参数标定，求出并保存每个摄像头图像畸变矫正参数，对标定图像进行畸变矫正，消除摄像头成像失真；
然后对畸变矫正后的标定图像进行射影变换，求出并保存射影变换参数；接着采集预先放置于车辆前、后、左、右4个方位的带有丰富特征点的特定图像，并通过查找摄像头图像畸变矫正参数进行畸变矫正，通过查找射影变换参数将矫正后的特定图像变换成俯瞰图；
最后对4个俯瞰图提取 ORB( Oriented FAST and Rotated
BRIEF) 特征并进行粗匹配，利用 RANSAC( Random Sample Consensus，随机抽样一致) 算法剔除误匹配点，并拟合出单应性矩阵的初始值，再使用
Levenberg-Marquardt 非线性迭代最小逼近法进行求精，经图像配准、融合和拼接后，生成360°俯瞰全景视图。在泊车辅助系统启用期间，通过查找已保存的摄像头图像畸变矫正参数、射影变换参数以及单应性矩阵参数，将4个摄像头的视频图像进行拼接，生成虚拟的俯瞰全景视图。

由于摄像头内外参数校正准确性对图像投影效果影响大；需要结合摄像头安装具体情况进行算法的调整；为满足嵌入式系统实时性需求，需要不断优化算法；尽量进行流程简化或者流程自动化。

图2. 算法流程

图3. 摄像头成像及其坐标系

主要数学原理，世界坐标系中某点投影到图像平面上的像素点( u，v).该过程要经过齐次坐标转换：

其中，s为任意的非零比例因子；
αu=f/dx，f是摄像头的焦距，dx代表x轴方向一个像素的宽度是图像在 u轴上的尺度因子，或称为u轴上的归一化焦距；，其中dy代表y轴方向一个像素的高度，αv是图像在v轴上的尺度因子，或称为v轴上的归一化焦距；它们是摄像头坐标系相对于世界坐标系的旋转向量；是摄像头坐标系相对于世界坐标系的平移向量； M1由决定，只与摄像头内部参数有关，称为摄像头内部参数矩阵； M2 由摄像头相对于世界坐标系的方位决定，称为摄像头外部参数矩阵； M 是一个3×4矩阵，称作投影矩阵，用于计算从世界坐标系到图像坐标系的转换。可见，若已知摄像头的内、外参数，就能够知道投影矩阵 M，对空间内任何一点，如果已知它的空间坐标，就可以求出对应的像素点坐标(u，v) 。

张正友标定法，采用棋盘格平面靶标作为标定物，可以把世界坐标系构造在 Zw = 0的平面上。

其中，和是径向畸变系数。将式（3）化成矩阵形式为

以上是畸变矫正公式。

以上是射影变换。

以上是畸变矫正及射影变换所对应的坐标像素计算公式。

以上是图像拼接单应性矩阵求解公式。

以上是平均值法对拼接重叠区域进行融合。

以上是3-D ship模型视角转换矩阵。

图4. alpha fusion

22.3 关键技术参数和性能指标

一种基于自适应特征点配准的环视系统拼接效果评估和自动微调方法，其特征在于：包括以下步骤：

步骤A、获得拼接前图像，并截取根据拼接参数算出的拍摄的相同位置的图像；

步骤B、采用自适应特征点配准算法来获得拼接前相同位置的图像的旋转平移矩阵；

步骤C、将旋转平移矩阵或者对其进行计算得到的角度信息和位移信息作为环视系统拼接效果的评估指标，并用此矩阵对拼接效果进行微调。

ADAS摄像头图像环视拼接算法相关推荐

ADAS视觉方案盘点上篇：摄像头、芯片和算法
摄像头是ADAS核心传感器,相比毫米波雷达和激光雷达,最大优势在于识别(物体是车还是人.标志牌是什么颜色).汽车行业价格敏感,摄像头硬件成本相对低廉,因为近几年计算机视觉发展迅速,从摄像头角度切入AD ...
车辆摄像头夜晚场景图像ISP增强算法
车辆摄像头夜晚场景图像ISP增强算法输入输出接口 Input: (1)图像视频分辨率(整型int) (2)图像视频格式(RGB,YUV,MP4等) (3)摄像头标定参数(中心位置(x,y)和5个畸变 ...
图像处理：手写实现图像增广算法（旋转、亮度调整、裁剪与拼接）
目录前言算法理论基础实现 a.旋转 b.亮度调整 c.裁剪及拼接随机调整参数 d.随机翻转算法 e.随机颜色明暗调整算法 f.随机裁剪算法实验分析本章小结参考文章前言图像增广算法在计 ...
一种基于FPGA 的1080p 高清多摄像头全景视频拼接的泊车(机)
< > 一种基于FPGA 的1080p 高清多摄像头全景视频拼接的泊车(机)实时影像系统一.本发明要解决的实际问题 1. 汽车左右反光镜及后视镜的视角有限,导致车身周围存在盲区,在特殊驾 ...
自动驾驶：自动泊车之AVM环视系统算法2
作者丨中投靓仔@知乎来源丨https://zhuanlan.zhihu.com/p/572325879 编辑丨3D视觉工坊点击进入->3D视觉工坊学习交流群本文的内容主要讲述AVM 3D算 ...
一种新型鱼眼图像轮廓提取算法
from: http://www.scimao.com/read/2307651 摘要:提取鱼眼图像轮廓是利用鱼眼图像的前提.传统提取鱼眼图像轮廓的扫描线逼近法对噪点抑制能力不强,精度差.本 ...
代季峰对话张祥雨 | 自动驾驶感知新时代！新一代环视感知算法BEVFormer有哪些优势...
导读:Elon Musk说过,"人类不是超人,也不是蝙蝠侠,不能够眼放激光,也不装有雷达,但是通过眼睛捕捉到的图像,人类依旧可以构建出对周围世界的3D空间理解能力,从而很好地掌握驾驶这项能力 ...
计算机视觉--图像的拼接融合
计算机视觉--图像的拼接融合一.全景图像拼接原理介绍 1.1 背景介绍 1.2 基本原理 1.3 图像拼接整体流程二.全景图像拼接实验 2.1 代码实现 2.2 不同场景的实验结果与分析 2.2. ...
C/C++ 图像处理（8）------图像の柱面投影算法
图像的柱面投影算法,在360°环形全景应用中几乎一定会用到.而为何要用该算法,可以参考下图: 从图像中可以看到,該环形全景设备由八个摄像头环形排列而成(需注意环形全景的形态并不固定,摄像头的个数不一定 ...

ADAS摄像头图像环视拼接算法

ADAS摄像头图像环视拼接算法相关推荐

最新文章

热门文章