激光雷达+rtk+rgb联合使用（4）

因为一直在忙一些乱七八糟的事情，就没顾得上继续写，想着快速收尾算了。

前面写到，我在点云的匹配上花了大量的时间，不断的调参数，换方法，一共几百个点云，想着先每50个匹配一次，得到几个大点云之后再进行匹配，这样可以消除一些误差，结果是有的可以有的不行，主要是旋转之后，本来就是角度大，再分区域之后，角度更大了。反正是各种歪招吧。但是有一点，几百个整体进行匹配的话，不仅时间长，而且拼起来后误差也非常大。因为采用的代码是每一个点云都要跟后面所有的点云进行匹配，得到全部的匹配矩阵，再进行后续一系列操作，所以时间长，后来我改为每个点云只跟后面n个点云匹配，这样效果和时间都能接受了。确实也解决不少了问题，但是某一组，怎么都不行。后来我一个一个的看了下，发现，有连续的两张，偏差非常大，这个应该是rtk在那个时候出现了一个波动导致的，所以不是我的问题，当正常情况下，没那么多叽叽歪歪的事情。

最后就是吐槽一下那个rtk，当他非常好的时候，不需要匹配，直接按照参数旋转好放上去相加，就非常吻合，如果不稳定的话，靠软件匹配，不一定能行，有的时候反而将能直接吻合的弄得出现扭曲。总之就是，建议用好一点的rtk。

我这边的测试是，沿着一个大型转盘录制，走一圈大概是5分钟，我走了3圈，然后直接旋转后相加，得到的大模型，还是非常完美的，路面没有出现拼歪，周围的建筑也还好。当然了，还是会有重影，但是感觉已经非常好了。这个时候，需要做的操作就是再增加一个rgb像头，给点云上色。

其实到这里的时候，我就发现，这不就是港大的r3live嘛，人家已经比较完善了，还要自己折腾。

增加相机，需要做的，还是标定。对于这部分，网上有很多现成的，但是他们都有个问题，需要用到ros，而且从某个博客看到，不是所有的激光雷达都支持，有品牌限制的，基于这两点，其实也是我和我的老板，尤其是后者只会python，他给我手绘了一下原理，反正就是找到几个相对应的点，然后就一番映射就行了，这么简单，自己写就行了，道理我都懂，但是不会写。

这部分是找同事帮忙写的，这里就记录一下原理。就是先固定好雷达和摄像头；然后拍一个立方体，尽量多的拍到5个点，所以要斜着放，这个立方体要先测量好边长；再然后拿到摄像头得到的图片，人工标注5个点，再在点云中，人工去掉多余的点，只留下立方体相关的；最后用一些什么方法得到，不是录到3个面嘛，将3个面分别存储点云，然后得到面方程，然后三个面得到交点，就得到那三条棱，反正最后得到比较精确的点的坐标，然后做映射，什么中间的点设为（0,0,0），然后其他4个点都能得到，再跟2d图片的点坐标对应，最终得到一个映射矩阵。

我需要做的就是，将3d点云通过这个映射转成2d，再将其与rgb图片对应，就能得到点云的颜色，最终看着还可以。因为不做这个了，具体的也就没搞清楚。

接下来是碰到的问题，首先是，这个映射需要非常精确，错了一点，就会出现对不准的情况，尤其是，比如地面上立了一根杆子，上色的时候，可能会把杆子上色偏得比较远。

还有，rgb和激光雷达的时间匹配，这个最麻烦，因为激光雷达是能得到他的时间的，且比较精确，rtk也有时间，精确到ms，但是摄像头这个，通过opencv录制还是ffmpeg，他其实得不到精确的每一帧的录制时间，甚至，这个时间都不是均匀的。所以刚开始，我是记录下命令启动的时间，然后估算一下延迟的时间，大概也就是几百毫秒嘛，然后一边做匹配，一边调整。我认为是，从命令执行到真实录制，这个时间应该是固定的，结果，只能说，也许吧。然后录制命令，有猫腻，比如说，本来想录制mkv，还有录制无损，没有编码解码什么的，这种的话，好像不能设置帧率，每秒帧不固定，后来改为什么编码，固定每秒10帧，刚开始还匹配的可以，因为走路录制的，后面改为行车录制，发现完全对不上，哪怕我把停车的时候，配的非常准，但是中间有几张就非常歪，好像是摄像头对高速行驶的时候，处理有点延时还是啥，比如我逐帧看的时候，他可能连续几帧一点变化都没有，然后突然一个变化，可能是摄像头不高端。最后是在视频顶部加一条黑边，上面用滤镜写上录制时间，然后用ocr识别这个时间，然后将这个时间和点云时间匹配，差的多的点云不要，此时效果好了很多，但是，后面如果车速提起来，可能会导致点云数量显著不足，而且，即便如此，配准还是不甚精准，但至少能用了。

至此，我就光速被离职了，带着一笔钱回家过年。未曾想到的结局。每当忙的抓头发的时候，烦的掉头发的时候，心里抑郁的时候，我也设想过这个场景，只是在未曾想到的时间，带着本以为没有的这笔钱，离开了。而且时间刚刚好，很快就过年了，年后试着考公考编，也算经历了一次，然后又考了下高校。最后都是体验了一下。休息了5个月，整理心情，新的工作方向是aigc，希望大家一起努力。

如果不是因为想赶紧写下一篇st webui，这个也不会急着结束，所以写的有点草率，后面有机会再完善下，添加一个效果图什么。

激光雷达+rtk+rgb联合使用（4）相关推荐

激光雷达+rtk+rgb联合使用（3）
这一篇简要说一下我是如何标定激光雷达和rtk的标定. 首先来讲,我也不太明确是不是叫标定,还是先说一下我的需求,我是希望将雷达假设在某个移动物体上,比如在车顶,然后通过移动雷达扫描得到一条街道或者一栋 ...
激光雷达与视觉联合标定综述！(系统介绍/标定板选择/在线离线标定等）
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨汽车人来源丨自动驾驶之心点击进入->3D视觉工坊学习交流群后台回复[相机标定]获取超 ...
ubuntu20.04 实测机械式激光雷达与相机联合标定
ubuntu20.04 实测机械式激光雷达与相机联合标定安装功能包功能包测试利用功能包标定自己的激光雷达和相机设置参数启动相机和激光雷达启动功能包安装功能包实测 ubuntu20.0 ...
激光雷达和相机联合标定之开源代码和软件汇总（2004-2021）
作者丨十点雨@知乎来源丨https://zhuanlan.zhihu.com/p/404762012 编辑丨3D视觉工坊 LiDAR Camera Calibration (LCC)系列,主要介绍激 ...
开源代码和软件汇总！激光雷达和相机联合标定（2004-2021）
作者 | 十点雨编辑 | 我爱计算机视觉原文链接:https://zhuanlan.zhihu.com/p/404762012 点击下方卡片,关注"自动驾驶之心"公众号 AD ...
ubuntu18.04 使用calibration_camera_lidar 实现激光雷达和相机联合标定
Autoware1.10以上的软件都需要单独安装这个calibration标定工具箱 1.nlopt安装新开一个终端: git clone git://github.com/stevengj/nlo ...
激光雷达和相机联合标定之cam_lidar_calibration
关于cam_lidar_calibration(2021)安装使用一.简介在众多的lidar和camera标定的开源程序中,效果相对不错的就是cam_lidar_calibration了,其余开源 ...
激光雷达和相机联合标定之-but_velodyne_camera
1. 概述 1.该方法适用于相机和激光雷达朝向方向相同或者近似相同的状态,相机和激光雷达之间的R矩阵较小,主要标定误差为T矩阵. /ps:可以先将激光雷达旋转到与相机安装坐标系相似的世界坐标系下,再使 ...
激光雷达和相机联合标定之开源代码和软件汇总（2004-2021）
关注公众号,发现CV技术之美本文转自知乎,获作者授权转载: https://zhuanlan.zhihu.com/p/404762012 LiDAR Camera Calibration (LCC) ...

激光雷达+rtk+rgb联合使用（4）

激光雷达+rtk+rgb联合使用（4）相关推荐

最新文章

热门文章