无人机深度学习虚拟现实平台构建
利用虚拟现实技术构建无人机虚拟现实平台有两大优势。第一个优势,是传统的无人机培训方式,如视频教学模式、安装培训模式,存在效率低、成本高的缺陷。通过无人机虚拟平台,教练员可以进行无限制的飞行测试,即使无人机“坠毁”也不会造成真正的无人机损毁和人员伤亡,可以提高训练效率,节省训练成本。第二个优势是该平台可以帮助研究人员更好更快地研究深度学习。通过无人机虚拟平台,研究人员可以收集大量的训练数据和图像,能够以低成本的方式为无人机飞行过程中的无人机航路规划和自阻提供支持。无人机深度学习虚拟现实系统可以生成大量训练数据,提高人工智能系统的训练效率,有利于工程应用。迄今为止,已经开发了许多建模语言和建模软件,从而出现了许多无人机虚拟现实仿真平台。下面对主流无人机虚拟平台类型、优缺点进行分析。
基于Vrml的无人机虚拟现实平台的实现
VRML是一种建模语言,也是最早构建无人机虚拟现实平台的编程语言。由于编程简单,应用前景十分广阔。但后来因为语言功能不是很强,所以在后期普及上有一定的局限性。
基于Wtk的无人机虚拟现实平台的实现
Creator是一款功能强大的专业3D 建模软件,可以为应用程序实时生成3D模型和地形。Creator和Vega结合构建无人机虚拟现实平台方便快捷,但缺点是开发不完整且成本高。
基于Creator/vega的无人机虚拟现实平台的实现
Creator是一款功能强大的专业3D 建模软件,可以为应用程序实时生成3D模型和地形。Creator和Vega结合构建无人机虚拟现实平台方便快捷,但缺点是开发不完整且成本高。
基于Opengl的无人机虚拟现实平台的实现
OpenGL主要用于定义二维和三维图形。功能更强大,具有建模、纹理映射、大气环境效果等丰富的场景设置,但缺点是开发周期长、编程复杂、需要底层模型。目前基于 OpenGL开发的Flightgear 基本包含了飞行器三维视觉模拟所需的全部功能,但显示效果很差,场景渲染不够精细。
现阶段所有主流的无人机虚拟现实平台都有自己的不足。2017年,微软在Github上发布了一款基于虚幻引擎的无人机模拟器(AirSim)。该模拟器是一个开源项目,用户可以直接从网站获取源代码。这个由AirSim构建的用于训练无人机深度学习的虚拟仿真平台,采用最新的图形处理技术,实现了更逼真的场景,准确还原了阴影、阳光、烟雾、路水等细节。AirSim构建的虚拟仿真平台克服了其他平台的不足,尤其是在无人机深度学习方面,还可以以极少的成本获得海量的人工智能训练数据。
Airsim的模块组成
AirSim模块库由 AirLib、AirLibUnitTests、DroneServe、DroneShell、Examples 等组成。模块解释如下:
图1 Airsim模块库
AirLib模块主要包含传感器、机架和环境的模型库,以头文件的形式提供。其中传感器测量的原始值是从Unreal Engine 4中获取的,原始值通过降噪输出到飞控。AirLib模块还包含障碍物图的功能子模块,将无人机飞行区域的周边区域划分为若干个tick,判断Unreal Engine 4提供的场景中是否存在障碍物。无人机视觉障碍物研究可以通过这种方法来完成。
图2 Airlib 模块
无人机深度学习虚拟现实平台构建
无人机虚拟现实平台场景的构建基于Unreal Engine 4,Unreal Engine 4相比其他引擎在光照和物理渲染方面更胜一筹。无人机深度学习需要准确呈现阴影和光反射等细微的东西,Unreal Engine 4可以更好的实现。EPIC的虚幻商店有很多场景(如:山、街、海平面)可供选择。本文选择了有利于无人机深度学习的“风景山”,“风景山”可以通过虚幻商店免费获取。
图3 无人机虚拟现实平台场景
获取AirSim源码并在Visual Studio 2015上编译,打开Visual Studio 2015,在Team Explorer中点击clone,在URL输入“https://github.com/Microsoft/AirSim”,设置项目目录,然后点击克隆,可以获得AirSim源代码,如图4所示。
图4 Airsim 源代码
获取源码运行cmd,进入工程目录,运行build.cmd编译,编译成功如图5所示。AirSim编译成功后,需要将编译好的“Plugins”文件夹复制到“Myproject”工程中,此时AirSim源代码的获取和编译就完成了。最后更新飞控,下载QGroundControl,连接PX,选择HIL Quadrocopter X机架,连接Remote Control,无人机虚拟现实平台就可以成功运行。
图5 Airsim编译成功界面
通过深度学习训练无人机进行图像分类时,需要提取图像特征。在图像特征的视觉特征提取中,还需要分析图像的轮廓边缘特征、颜色特征、纹理特征和形状特征。基于Unreal Engine 4的AirSim平台运行时,屏幕下方有3个子屏幕,分别是无人机视图、实时深度视图和实时对象分割。无人机深度学习图像分类可以通过这三个视角支持。
图6 无人机虚拟现实平台操作
无人机人工智能是无人机发展的一个趋势,无人机人工智能的实现主要是通过深度学习来完成。无人机通过深度学习算法从大量数据中学习潜在特征和规律,智能识别新样本,还可以预测未来信息的可能性。采用基于Unreal Engine 4的AirSim,通过虚拟现实技术模拟无人机飞行,可以实时获取无人机各帧的姿态和图像。该平台可以满足无人机深度学习的需求,具有很大的工程价值。
源自:2017 Chinese Automation Congress (CAC), 2017, pp. 3912-3916, doi: 10.1109/CAC.2017.8243463.
无人机深度学习虚拟现实平台构建相关推荐
- XLearning - 深度学习调度平台
XLearning - 深度学习调度平台 软件简介 XLearning **** 是奇虎 360 开源的一款支持多种机器学习.深度学习框架调度系统.基于 Hadoop Yarn 完成了对TensorF ...
- 奇虎360正式开源其深度学习调度平台,支持TensorFlow、MXNet等框架
奇虎360今日宣布开源深度学习调度平台XLearning,项目开源地址:https://github.com/Qihoo360/XLearning. \\ XLearning由360系统部大数据团队与 ...
- 一个很好用的深度学习云平台--Floyd
前些天在逛知乎的时候发现了一个好东西,一个非常好用的深度学习云平台--Floyd.它是一个非常便捷的深度学习云计算平台,虽然我前面已经搭建过了GPU版本的tensorflow,但是在速度上还是比不上在 ...
- 深度学习模型的构建三、优化函数optimizer
深度学习模型的构建三.优化函数optimizer 一.先来看看有哪些优化函数 BGD 批量梯度下降 SGD随机梯度下降 MBGD小批量梯度下降 momentum AdaGrad Adadelta Ad ...
- [zz]百度发布深度学习可视化平台 Visual DL
版权声明:本文为EnweiTech原创文章,未经博主允许不得转载. https://blog.csdn.net/English0523/article/details/79087274 恩威AI ...
- 推荐一个好用的深度学习云平台--Floyd
前些天在逛知乎的时候发现了一个好东西,一个非常好用的深度学习云平台--Floyd.它是一个非常便捷的深度学习云计算平台,虽然我前面已经搭建过了GPU版本的tensorflow,但是在速度上还是比不上在 ...
- 推荐给没有机器的小伙伴------深度学习云平台Floydhub
#第一篇博客文档# 公司的机器还没有来 Floydhub是一个简单易用的深度学习云平台,支持jupyter notebook, 非常的简单好用.而且有免费的20小时,之后每小时GPU大约0.6美元,C ...
- 图形化深度学习开发平台PaddleStudio(代码开源)
目录 一.PaddleStudio概述 二.环境准备 2.1 安装PaddlePaddle 2.2 安装依赖库 三.基本使用介绍 3.1 启动 3.2 快速体验 3.2.1 下载示例项目 3.2.2 ...
- Python深度学习常用平台
文章目录 深度学习常用平台 PyTorch PyCharm TensorFlow 百度飞桨 keras 深度学习常用平台 PyTorch PyTorch是用Python重写的Torch框架.PyTor ...
最新文章
- ES报the same id but is a different node instance
- python转行it好学吗-我研一想转行it,建议Java还是Python呢?
- idea swagger生成接口文档_spring boot集成Swagger-UI接口文档
- 深度学习核心技术精讲100篇(六十五)-万字长文从ReLU到GELU通讲神经网络激活函数
- python如何通过以太网发送指令_用scapy在python中编写一个以太网桥
- C语言实现大数的阶乘(附完整源码)
- 12 - Runtime实用的几个API
- laravel里面使用event
- python后端需要什么基础_【后端开发】python爬虫需要什么基础
- http://bassistance.de/jquery-plugins/
- Vijos P1423 最佳路线
- 2009年英国大学综合排名
- 学习笔记:SSM框架项目搭建
- 【开发教程6】疯壳·ARM功能手机-中断实验教程
- 红蜘蛛显示器测试软件,红蜘蛛5校色仪怎么用?显示器校色及测试色域和色彩精准度详细教程...
- 红色警戒2+尤里的复仇,带完整音乐+影片,免安装版本,完美兼容WIN10
- 详解RocketMQ中的consumer
- SQLServer查看服务器版本和服务器名称
- 应用层(计网_06)
- 五行顺口溜_五行口诀
热门文章
- 这么多的内置函数能记住吗?对python的68个内置函数分类总结!
- mysql导入xl_28 MySQL的使用
- Friedman test 和 Bonferroni-Dunn test 整理
- 现代控制理论课件分享及课后思考题(初稿待完善)
- python学习-reshape()函数理解
- Java加密技术(一)—— HMACSHA1 加密算法
- 数据字典(Data Dictionary)
- mysql、oracle、sqlserver各自的默认端口号
- 高通CameraSenorBringup
- Sublime Emmet 插件安装教程 Tab 快捷键无法使用问题解决