毫米波与视觉融合及车道线检测视频分享

微信公众号：幼儿园的学霸
个人的学习笔记，关于OpenCV,关于机器学习, …。问题或建议，请公众号留言;

ADAS项目基本就要结束了，今天将项目中的部分结果视频进行一下分享，希望展示的结果能够启迪他人，对其有所帮助。展示的视频分为两部分：1）毫米波和视觉融合的结果2）车道线的检测结果。

毫米波和视觉融合结果

毫米波和视觉融合——像素坐标系下的融合

在进行毫米波和视觉融合时，最初采用的是像素坐标系下的融合方案，具体思路在之前的文章中已经有过详细描述。简单来说就是利用毫米波数据确定各目标在图像上的大致检测范围，然后在这个范围内进行目标识别or目标分类。当时采用了传统的机器学习的方案，由于纯检测效果不是很好，因此采用了检测+跟踪同时进行，而针对远近目标的区别，构造了双目标检测器，分别检测远近的目标。具体效果视频见下：
微信公众号视频
原始视频偏暗，显示的视频已经经过滤波、均衡化处理。视频中绿色框是毫米波确定的区域，红色框是检测出来的车辆。

毫米波和视觉融合——世界坐标系下的融合

由于机器学习的方案检测行人时效果很差，因此后期采用端到端的深度学习方案进行目标检测。深度学习在检测目标上效果远远优于传统的机器学习方案，此时，毫米波就处于辅助的地位，不像上面的方案中毫米波处于主要地位。此时，不可能针对毫米波确定的各可能区域进行一次深度学习的判别，这样整个过程耗时将非常严重，arm开发板支撑不起这样的运算。为此，针对融合方案也进行了更改，采用在世界坐标系下进行两者的融合。思路为：视觉目标检测--->世界坐标计算--->遍历毫米波目标数据融合。具体检测效果如下(视频在微信公众号)：
微信公众号视频
视频中间部分为世界坐标系下毫米波(黑点)目标和视觉目标(蓝点)的位置信息，红点为毫米波目标与视觉目标相融合的目标，当出现成功融合的目标时(红点)，在视频的右侧检测结果显示界面，矩形框的上方调试信息最后一行会出现Radar字样，意味着该目标和毫米波目标融合在了一起。

车道线检测

该部分展示的视频非项目中所用的方案，这只是我准备换一个思路做车道线检测时所写，该部分尚未完成，代码已经搁置了将近4个月（前段时间清理电脑，代码也不小心被删了，只留下硬盘中还存留有一部分视频，有点遗憾），现在展示出来，分享一下。该代码的思路是：
1）车道线提取。根据车道线像素宽度确定车道线位置，可以理解为一个二值化过程（或者说语义分割的过程），但是非传统的利用颜色阈值的二值化；
2）逆透视变换（前述文章已描述）；
3）统计像素直方图确定车道线位置(之前的opencv reduce()文章)；
4）滤波处理，保证车道线的稳定；
5）将结果变换至原始图像，进行绘图和坐标转换。
6）对代码优化，部分模块并行化处理。

这是当初写代码的一个思路流程，部分环节之前的文章都有涉及到。整个代码的框架已经搭建完毕，遗憾的是，代码丢失，要重头开始了，估计目前很少有时间做这个了。将思路分享出来，也许某些人可以用上呢。具体结果如下：
微信公众号视频

下面的是我的公众号二维码图片，欢迎关注。