三维重建5：场景中语义分析/语义SLAM/DCNN-大尺度SLAM
前言：
在实时/非实时大规模三维场景重建中，引入了语义SLAM这个概念，参考三维重建：SLAM的尺度和方法论问题和三维重建：SLAM的粒度和工程化问题 。大规模三维场景重建的尺度增大，因此相对于整个重建过程的粒度也从点到特征点到目标物体级别，对场景进行语义标记成为重要的工作。
场景语义标记的传统方法：
其他：机器人在线场景感知问题，场景识别问题。
参考文章：场景感知：图像的稀疏表示
对场景进行目标检测，并串联目标特征或者打包成set，形成场景特征。根据场景特征进行分类场景，既是场景感知。对于大量需要感知的场景，既是场景中有多类物体，形成的场景特征的向量维数变得更大更长，为了降低计算量，引入了稀疏编码的方法。
深度学习的语义标记方法：
对于超大环境，比如整个中国建立一个三维地图，Agent端的存储能力和计算能力必定达不到海量数据存储和检索的要求。因此，引入C/S模式的云端框架是合适的选择。对于超量的类别进行模式识别，传统的集成学习仍然遇到理论上的困难，比如VC维的约束。因此，基于深度学习的场景语义识别是暂时最佳可选的方案，Agent作为一个数据获取端，把数据传输到云端服务器，在服务器上使用DCNN进行语义检测，用于检测目标和场景，进而判断是否存在闭环/Agent在场景中的位姿。
语义SLAM的关键元素
目标检测、场景识别、DCNN。
目标识别的传统方法经典方法利用概率图模型（CRF）对图片进行分割，使用传统模式识别方法进行目标识别（SVM、随机森林等），这些传统方法应对海量数据和高精度的挑战都成问题，比如CRF模型对于大量数据训练极为困难、模式识别方法模型本身就受到VC维的约束。
场景识别的传统方法如前面所述，使用稀疏编码的方式对每一类场景进行稀疏编码，把图片场景识别拖入模式识别的范畴，使用传统模式识别的方法完成场景识别。
DCNN
对于检测-识别过程，传统方法的一般模式是，需要对图像进行特征提取，把图像从二维张量空间转化到N维向量空间，称为特征提取；再通过模式识别方法把N维向量空间压缩到0维空间的离散个点上。由此完成分类识别。
在此过程中，特征提取是一个专家知识极浓的经验过程，并在图像压缩转化过程中必然承受着压缩/特征提取损失。
CNN具有图像处理过程中张量压缩的天然结构。CNN结构直接把图像在二维张量空间中进行处理，不停的Conv和polling，使用数据来完成特征提取，更多的数据得出更可靠的特征（特征一词对于CNN没有实际意义，此过程并非形式化，且可以表示为任一步及几步的组合）。不停的Conv和polling，直至图像的X*X像素收敛为1*1，直接把图像从二维张量空间压缩到一维向量空间中的点（也可以称之为二维张量空间上的点，但没有了明确的维度限制）上。
此外，CNN的二维链接结构，可以使用权值共享和分层乘法来降低参数数量，以至于在添加更多的类别时避免造成参数的指数级增长（传统方法随类别的参数增长一般是指数级别或者亚指数级别的，至少是超多项式的）。
深度学习方法作为分类模型，发展已久，从AlexNet到GoogleNet，到Residual Network，不断取得更高的精度和处理更多的类别以及获得更快的速度。
深度学习作为检测模型，经典网络为R-CNN和Yolo-DarkNet，随后更新了多个版本，基于Region Proposal的网络为R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN、R-FCN和Mask RCNN；基于Regression的有Yolo、SSD-Net、YoloV2、LocalNet等。
DCNN检测模型
基于Region Proposal的网络为R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN、R-FCN和Mask RCNN；基于Regression的有Yolo、SSD-Net、YoloV2、LocalNet等。
参考文章：SPP-Net：CNNs添加一尺度不变特征-神经元层
参考文章：Going deeper with convolutions：卷积的更深一些
参考文章：CVPR 2016论文快讯：目标检测领域的新进展
工程化问题
语义SLAM中大规模语义分析，通常方法也变为S端使用DCNN做服务器实现场景检测/闭环检测和C端Agent根据返还结果辅助实现三维位姿确定。
三维重建5：场景中语义分析/语义SLAM/DCNN-大尺度SLAM相关推荐
- 在结构化场景中基于单目的物体与平面SLAM方案
点云PCL免费知识星球,点云论文速读. 文章:Monocular Object and Plane SLAM in Structured Environments 作者:Shichao Yang, S ...
- QGraphicsView加入到布局，所在的窗口变大，视图和场景都变大，使场景中的矩形也变大
需求 窗口变化时,窗口中的矩形框也变化. 效果展示 当窗口变大时其矩形框也变大 要求绿色矩形框与蓝色背景的边距始终为10. 代码 直接上项目的代码. 项目结构 各文件的代码 main.cpp #inc ...
- TensorFlow中的语义分割套件
TensorFlow中的语义分割套件 描述 该存储库用作语义细分套件.目标是轻松实现,训练和测试新的语义细分模型!完成以下内容: 训练和测试方式 资料扩充 几种最先进的模型.轻松随插即用 能够使用任何 ...
- 精华文稿 | 工业场景中机器人定位导航技术
本文总结于俞毓锋博士2021年10月20日在深蓝学院"大咖面对面"直播活动中的分享.俞毓锋博士毕业于北京大学,有十年SLAM领域研究经验,深入SLAM算法和工程化落地,目前担任极智 ...
- 分布式数据库在金融应用场景中的探索与实践
分布式数据库在金融应用场景中的探索与实践 刘雷, 郭志军, 马海欣, 赵琼, 胡卉芪, 蔡鹏, 杜洪涛, 周傲英, 李战怀 交通银行软件开发中心,上海 201201 华东师范大学数据科学与工程学院,上 ...
- 一文了解动态场景中的SLAM的研究现状
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 本期我们将回顾MonoDOS领域中的一些最新论文. 常规的SLAM算法首先假设环境中所有物体均处于静止 ...
- 结构化场景中的RGB-D SLAM
点云PCL免费知识星球,点云论文速读. 文章:RGB-D SLAM with Structural Regularities 作者:Yanyan Li , Raza Yunus , Nikolas B ...
- 自动驾驶车辆在结构化场景中基于HD-Map由粗到精语义定位
点云PCL免费知识星球,点云论文速读. 文章:Coarse-to-fine Semantic Localization with HD Map for Autonomous Driving in St ...
- 城市场景中自动驾驶车辆基于高精度地图的视觉语义定位
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 来源丨自动驾驶专栏 论文链接:https://ieeexplore.ieee.org/document ...
最新文章
- java邮件接收代码,JavaMail入门第四篇 接收邮件(示例代码)
- ASP.NET Aries 高级开发教程：Excel导入配置之规则说明（下）
- c#_文件的保存与读取
- python学习笔记-36 文件读写
- Python基础高级用法,必须要掌握的知识点
- 税务计算机网络管理制度,税务系统电子数据处理管理办法（试行）
- 深入理解JavaScript系列（1）：编写高质量JavaScript代码的基本要点
- 【组图】地震前线归来--心中的震撼
- AtCoder Beginner Contest 172总结
- Python 3.8 已发布，现在是切换至新版本的好时机吗？
- 最经典的职场十大理论，好文值得一看滴童鞋们。2
- 几个LabVIEW软件欢迎页面
- cad2012打开后闪退_windows7打不开CAD2012出现闪退的处理方法
- JAVA作业——工资个税计算器
- python实验报告代写_Python 读写CSV作业代写代做、代写Python I/O文件读写程序作业、代写代做python 实验报告...
- 关于自己学C的点滴记录
- Vue.js项目实战——Day（1）
- mysql 从大到小排序
- 门店数字化转型| 美容院管理系统
- VMWARE虚拟机网络环境配置