综述|基于深度学习方式的场景分类算法
点击上方“3D视觉工坊”,选择“星标”
干货第一时间送达
作者丨黄浴@知乎
来源丨https://zhuanlan.zhihu.com/p/351351953
编辑丨3D视觉工坊
arXiv2021年1月26日上传的综述论文:“Deep Learning for Scene Classification: A Survey”。
景物分类是计算机视觉中历史悠久的课题,大规模的数据集出现以及具有强大特征表征能力深度学习的复兴,给这个领域带来了巨大的进步。该综述包括了技术挑战、基准数据集、景物分类法和量化性能等方面的总结。(注:现在关心这个题目的确实不多了)
景物分类的应用很广,包括基于内容检索、机器人导航、视频监控、AR和灾难检测等。其技术核心是景物表征,这也是深度学习的强处。不过,这个问题的挑战性在于巨大的类内变化、语义的多义和计算效率。
回顾一下历史,如下可以看到这20年的发展:
下图是一些开源数据集的例子:室内/室外
数据集比较表:除了RGB图像,还有RGB-D。
一个通用的深度学习方法流程图如下:类似于图像分类
几个典型CNN模型做景物分类的示意图:
Global Average Pooling (GAP) layer + Class Activation Mapping(CAM)
Dictionary Learning CNN (DL-CNN)
Contextual features in Appearance (CFA) based on LSTM
spatial unstructured layer
基于CNN的表征方法,如图列出5个典型的架构图:沙漏作为主干网络
a)HLSTM 是一种基于CNN特征的全局方法,可从整个图像中提取深度特征。空间LSTM用于对图像区域的空间布局2D特性建模。此外,通过多个LSTM层捕获跨尺度的上下文依存关系。
(b)SFV,一种基于空间不变特征的方法,采集密集补丁,提取局部特征。SFV的重点是加入自然的参数化模式,将语义空间转换为自然的参数空间。
(c)WELDON,一种基于语义特征的方法,从top evidence(红色)和负样本(黄色)中提取深度特征。在WSP方案中,有使用max-层和min-层分别选择正例和负例的做法。
(d)FTOTLM 是一种典型的多层特征方法,从每个残差模块中提取深度特征。
(e)Scale-specific network,一种基于多视图特征的结构,场景为中心的CNN从粗版提取深层特征,而目标为中心的CNN从精细补丁提取特征。这两种类型的深层特征相互补充。
改进景物表征的策略分为4种:encoding strategy, attention strategy, contextual strategy 和 regularization strategy。
编码策略如下图的Fisher向量编码:
注意机制的策略如图:
上下文策略如图:
最后正则化策略:稀疏、结构化、有监督和其他方法等。
针对RGB-D数据的景物分类,会有深度有关的特征学习方法和多模式融合方法。
性能比较,如下表:
最后提出一些今后的工作方向:
·网络框架
·丰富的景物数据集
·标注数据依赖性降低 (半监督、无监督、自监督)
·少样本学习
·鲁棒性 (对抗学习)
·实时性
·非平衡 (长尾效应)
·连续学习
·多标注的学习
·新传感器数据:视频、点云等
本文仅做学术分享,如有侵权,请联系删文。
下载1
在「3D视觉工坊」公众号后台回复:3D视觉,即可下载 3D视觉相关资料干货,涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
下载2
在「3D视觉工坊」公众号后台回复:3D视觉github资源汇总,即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。
下载3
在「3D视觉工坊」公众号后台回复:相机标定,即可下载独家相机标定学习课件与视频网址;后台回复:立体匹配,即可下载独家立体匹配学习课件与视频网址。
重磅!3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群,目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球:针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近3000星球成员为创造更好的AI世界共同进步,知识星球入口:
学习3D视觉核心技术,扫描查看介绍,3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用,麻烦给个赞和在看~
综述|基于深度学习方式的场景分类算法相关推荐
- 基于深度学习的场景分类算法
目前出现的相对流行的场景分类方法主要有以下三类: (1) 基于对象的场景分类: 这种分类方法以对象为识别单位,根据场景中出现的特定对象来区分不同的场景: 基于视觉的场景分类方法大部分都是以对象 ...
- 基于深度学习的场景分割算法研究综述
基于深度学习的场景分割算法研究综述 人工智能技术与咨询 来自<计算机研究与发展> ,作者张 蕊等 摘 要 场景分割的目标是判断场景图像中每个像素的类别.场景分割是计算机视觉领域重要的基本问 ...
- 综述 | 基于深度学习的目标检测算法
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 本文转自:计算机视觉life 导读:目标检测(Object Det ...
- 病虫害模型算法_基于深度学习的目标检测算法综述
sigai 基于深度学习的目标检测算法综述 导言 目标检测的任务是找出图像中所有感兴趣的目标(物体),确定它们的位置和大小,是机器视觉领域的核心问题之一.由于各类物体有不同的外观,形状,姿态,加上成像 ...
- 基于深度学习的目标检测算法综述(从R-CNN到Mask R-CNN)
深度学习目标检测模型全面综述:Faster R-CNN.R-FCN和SSD 从RCNN到SSD,这应该是最全的一份目标检测算法盘点 基于深度学习的目标检测算法综述(一) 基于深度学习的目标检测算法综述 ...
- 基于深度学习的目标检测算法综述(一)
基于深度学习的目标检测算法综述(一) 基于深度学习的目标检测算法综述(二) 基于深度学习的目标检测算法综述(三) 本文内容原创,作者:美图云视觉技术部 检测团队,转载请注明出处 目标检测(Object ...
- 基于深度学习的目标检测算法综述(二)
转自:https://zhuanlan.zhihu.com/p/40020809 基于深度学习的目标检测算法综述(一) 基于深度学习的目标检测算法综述(二) 基于深度学习的目标检测算法综述(三) 本文 ...
- 综述:基于深度学习的文本分类 --《Deep Learning Based Text Classification: A Comprehensive Review》总结(一)
文章目录 综述:基于深度学习的文本分类 <Deep Learning Based Text Classification: A Comprehensive Review>论文总结(一) 总 ...
- 基于深度学习的场景文本检测和识别(Scene Text Detection and Recognition)综述
1. 引言 文字是人类最重要的创作之一,它使人们在时空上可以有效地.可靠的传播或获取信息. 场景中的文字的检测和识别对我们理解世界很有帮助,它应用在图像搜索.即时翻译.机器人导航.工业自动化等领域. ...
最新文章
- 竞赛专题(四)特征工程-竞赛中的必杀技
- Wireshark网络分析实例集锦2.1.2隐藏、删除、重新排序及编辑列
- Des和Base64的Util
- Linux服务器通过rz/sz轻松上传下载文件
- LAMP(三)之CentOS6编译安装httpd2.4
- Python打印格式化与字符串
- WebKitGTK+ 编译
- window下 php debug 的安装
- wine android6,安卓能跑Windows程序,Wine 2.10开发版发布
- 人工神经网络MATLAB例子,matlab人工神经网络模型
- com组件--GUID
- 80后,规划好你的职业道路!
- 一份关于webpack2和模块打包的新手指南(一)
- 语音合成(TTS)论文优选:Learning to Speak Fluently in a Foreign Language: Multilingual Speech Synthesis and Cr
- switch删除用户显示无法连接服务器,switch无法连接互联网怎么办 NS无法联机联网详细解决办法...
- django数据库错误django. db. utils. OperationalError: ( 1044,‘Access denied for user’ erqueque’@' %’to‘dj’
- unity设置中文版
- 安卓案例:读取与解析JSON
- [剑指offer] 36. 二叉搜索树与双向链表
- 《CalliGAN: Style and Structure-aware Chinese Calligraphy Character Generator》论文笔记