茂密林冠下实时语义SLAM的大规模自主飞行

森林的语义地图编码了可操作的信息，如木材量、产量估计和预测等。UAV在此类任务中具有独特的优势：它们可以在3D环境中快速悬停和飞行，并且不像地面机器人那样受到灌木丛或地形高程变化的影响。开发一种可以在树冠下运行的自主无人机系统，同时大规模提取可操作的信息，对于精准农业和林业至关重要。然而，这项任务仍然具有挑战性，因为：

GPS在茂密的森林树冠下的精度不令人满意。差分或RTK GPS需要与基站进行可靠的通信，这对于在冠层下环境中进行远程操作是不切实际的;
环境是非结构化和动态的（例如树叶随风吹拂），这对于依赖静态几何特征的传统SLAM算法具有挑战性;
环境高度杂乱，需要有能力和可靠的导航系统。

我们将自主飞行与语义SLAM相结合，以应对这些挑战。提出了一种无人机硬件和软件系统，该系统能够在大规模，非结构化，杂乱和没有GPS的环境中进行远程自主飞行。定制的无人机硬件平台（图1）的飞行时间超过30分钟。

图1用于这项工作猎鹰450平台配备了3D LiDAR，具有硬件同步IMU和立体摄像头的开放视觉计算机，英特尔NUC机载计算机和Pixhawk 4飞控

目前，已经提出了几种可以通过机载传感和计算处理相对复杂环境的自主飞行系统。但是，这些系统是在比我们的测试环境更混乱且规模更小的环境中演示的（图 2）。更重要的是，它们都没有包含语义信息。基于几何的测程算法在冠层下环境中积累了较大的漂移，并且保持密集的三维体积图的存储需求很高。

图2左图是树冠无人机的视图，显示了环境的规模和厚厚的树冠;中间面板是来自树冠下无人机的视图，这表明环境高度非结构化且杂乱无章;右图显示地面被灌木丛覆盖，灌木丛随风移动，照明不均匀

所提出的系统如图3所示，首先使用RangeNet++在LiDAR扫描中检测物体，接着在整个数据序列中跟踪对象检测。然后，计划模块实时使用这些信息。高级规划器使用基于boustrophedon的覆盖计划算法来覆盖多边形区域。中级全球规划器依靠稀疏地图规划到每个覆盖航点的最短无碰撞路径，本地轨迹规划器使用小而精细离散的以机器人为中心的地图来规划动态可行且无碰撞的轨迹。

图3 软件架构。该系统使用来自多个传感器的信息，包括3D LIDAR、立体摄像头和IMU

给定新的姿势估计，SLOAM将投影从当前扫描派生的模型，并使用圆柱到圆柱距离将圆柱模型与子映射中的模型相关联。这些关联将树模型更新为最新估计值，并且不匹配的圆柱体将添加到地图中。图4中绿色圆柱体显示语义图，黑色边界框显示分辨率为0.1m的局部体素地图，蓝色曲线显示SLOAM估计的轨迹。

图4 语义映射与三维像素映射

我们设计了一个多级映射和规划框架，如图5 所示。其中，顶层地图由语义模型组成，可帮助无人机在远距离内准确定位自己，并以有效的方式跟踪感兴趣的信息。中级（全局）地图是一个大型但粗略离散的体素地图。底层（局部）地图是一个小而精细离散的以机器人为中心的体素地图，并以LiDAR速率更新。图5中绿色圆柱体是SLOAM估计的树模型，小边界框是局部体素地图，中间面板顶部显示的黑线是全局体素地图的边缘。

图5 真实世界森林中自治堆栈的实时感知和决策的可视化

我们使用 Unity 资源商店中提供的各种高保真树模型，并自定义其大小、形状、方向以及灌木丛条件，以模拟真实世界的森林。如图6所示。左上面板显示了0.77 km2的架空激光雷达数据用于创建模拟环境的林分。右上方面板显示基于用户定义的覆盖区域自动生成的覆盖计划。无人机能够在1小时内自主完成此任务，无需任何人为干预。轨迹长度为∼10公里，平均飞行速度为∼2.9米/秒左下面板显示了由SLOAM生成的语义图，该语义图由 10，897 个树模型组成，其中语义分割使用与我们用于物理实验的相同模型。右下面板显示语义图的特写。

图6大规模覆盖实验

在现场实验中，我们证明了VIO漂移可以用语义SLAM来校正。为了量化漂移，我们手动驾驶无人机，使起飞和着陆位置完全相同。如图7所示，轨迹是∼1.1公里，覆盖200 m2的大部分区域，同时检测和建模1157棵树。

图7 1.1公里轨迹的俯视图

生成森林和果园的语义图对于了解碳挑战的严重程度和制定精准农业的新战略非常重要。这是首次将实时语义SLAM集成到自主无人机导航的反馈回路中，并且仅使用机载传感和计算，以自动化方式构建了大面积的详细多分辨率地图。其中的自主飞行堆栈和语义SLAM算法分别可在以下地址找到：GitHub - KumarRobotics/kr_autonomous_flight: KR (KumarRobotics) autonomous flight system for GPS-denied quadrotors；

GitHub - KumarRobotics/sloam: Semantic LIDAR odometry and mapping for cylinderical objects (e.g. trees in forests)

源自：5512 IEEE ROBOTICS AND AUTOMATION LETTERS, VOL. 7, NO. 2, APRIL 2022

茂密林冠下实时语义SLAM的大规模自主飞行相关推荐

Towards Real-time Semantic RGB-D SLAM in Dynamic Environments（动态语义SLAM）
动态环境下的实时语义SLAM 简介摘要系统流程实验结果总结简介在ICRA 2021上看到这样一篇论文:Towards Real-time Semantic RGB-D SLAM in Dy ...
大规模环境下基于语义直方图的多机器人实时全局定位图匹配
文章:Semantic Histogram Based Graph Matching for Real-Time Multi-Robot Global Localization in Large Sc ...
大规模户外环境的具有地标的语义SLAM
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达项目论文地址: https://arxiv.org/pdf/2001.01028v1.pdf 代码: ...
Kimera实时重建的语义SLAM系统
Kimera实时重建的语义SLAM系统 Kimera是C++实现的一个具有实时度量的语义SLAM系统,使用的传感器有相机与IMU惯导数据来构建环境语义标注的3D网格,Kinera支持ROS运行在CPU ...
RGPNET: 复杂环境下实时通用语义分割网络
作者:Tom Hardy Date:2020-02-09 来源:RGPNET: 复杂环境下实时通用语义分割网络
用于自动泊车的鸟瞰图的边缘线的语义SLAM系统
文章:Hybrid Bird's-Eye Edge Based Semantic Visual SLAM for Automated Valet Parking 作者:Zhenzhen Xiang, ...
Toronto-3D：用于城市道路语义分割的大规模移动激光雷达数据集
文章:Toronto-3D: A Large-scale Mobile LiDAR Dataset for Semantic Segmentation of Urban Roadways 作者:Wei ...
语义slam_语义SLAM: 接轨深度学习的新方向
声明:本文首发于我的公众号[当SLAM遇见小王同学],谢绝私自转载,如有需要,可加我微信进行授权!!侵权必究! SLAM技术在计算机视觉和机器人领域中占有重要地位.传统的SLAM框架都将环境假定为静态 ...
（汇总篇）语义SLAM相关开源方案| 全球优秀作者与实验室 | SLAM学习资料整理
目录 1 开源方案 1.1 Geometric SLAM (26项) 1. PTAM 2. S-PTAM(双目 PTAM) 3. MonoSLAM 4. ORB-SLAM2 5. DSO 6. LDS ...
LRNNet：轻量级FCB SVN实时语义分割
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达公众号后台回复「LRNNet」,即可获得论文下载链接. 简介: 语义分割可以看作是一种按像素分类的任务 ...

茂密林冠下实时语义SLAM的大规模自主飞行

茂密林冠下实时语义SLAM的大规模自主飞行相关推荐

最新文章

热门文章