目标检测新技能!引入知识图谱:Reasoning-RCNN
点击上方“小白学视觉”,选择加"星标"或“置顶”
重磅干货,第一时间送达
前言
目前大规模的检测问题,挑战主要在数据的分布,比如有的类别的数量很少,模糊,遮挡等问题,但是像现在的检测问题都是每个框单独进行检测,而忽略了target之间的语义依赖关系,对检测出来的物体之间进行推理。
如下图a中的右上角部分,有一个模糊的白色的物体,我们人的思维方式就是去思考:首先它很像一个CCTV(也就是闭路是摄像机),我们之前在b图中看到过。其次再观察他的周围,是马路,车,一个小的金属设备在监视着着车,所以他应该就是一个CCTV。B图中展示了其对象之间的图谱关系,这个就可以放到知识图谱里面去并且合并到detection pipline中。
章节目录
知识图谱引入
实验部分
01 知识图谱引入
那么Reasoning RCNN具体是怎么做的呢?首先,这篇文章实际上不是提出了一个新的检测方法,而是对传统检测做一个增强,具体如下图。
概括来说:首先就需要建立一个对于所有类别的一个语义池 semantic pool,他们之间的权重是来自于传统目标检测的的网络的分类层。随后需要一个类别级别的知识图谱去编码存在的语义知识。(主要是属性,关系),在这个知识谱图中进行演化和传播。最后要做的就是特征的增强,这里的增强在检测中就是对分类特征的增强,每个区域新增强的特征被concat到原始的特征,来提升classification和localization的性能。
Reasoning RCNN可以基于任意base detector 比如Faster RCNN.
左边我们可以看到base detector其最后有一个类别的输出分类和检测出来的bouding box,这个分类器产生的权重将会生成前面提到的global semantic pool,(分类器关于每个类别的权重实际上包含了高层次的语义信息,因为在训练这个分类器的时候,其是整个图片进行了参与,分类器的参数不断更新,global pool也不断被训练),然后知识图谱被引入,并将其输入到自适应推理模块。通过refine的模块去产生一个增强的特征。这个增强的模块是通过拼接而形成的。图中是蓝色与绿色。
下面更加详细地介绍每个模块,Resoning模块的整体的一个框架结构就是通过global pool结合知识生成新的信息,再通过Attention机制获得更好的表示。最后在一个软连接的作用下,获得更好的分类特征,在将其合并在一起,如下图所示。
自适应attention是使用image feature来计算的,以自动发现最相关的类别以进行自适应推理,具体如下图,其实就是通过softmax function得到。从categories到proposal对增强功能进行软映射,以获得区域性增强功能f’,最终对得到的增强特征与原始特征连接在一起。作为新的特征去送往网络产生新的结果。
02 实验部分
如下表中可以看到在base detector不同的时候,此方法带来了很多的性能提升。
下表可以看出来在小样本上的增益是最大的,也进一步证明了作者提出的方法的有效性。
下图是fastaer rcnn和加入此方法之后的可视化对比,可以看到检测效果有很多提升,少了很多漏检问题,因此也是从一方面展示了此方法检测的优越性。
END
下载1:OpenCV-Contrib扩展模块中文版教程
在「小白学视觉」公众号后台回复:扩展模块中文教程,即可下载全网第一份OpenCV扩展模块教程中文版,涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。
下载2:Python视觉实战项目52讲
在「小白学视觉」公众号后台回复:Python视觉实战项目,即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目,助力快速学校计算机视觉。
下载3:OpenCV实战项目20讲
在「小白学视觉」公众号后台回复:OpenCV实战项目20讲,即可下载含有20个基于OpenCV实现20个实战项目,实现OpenCV学习进阶。
交流群
欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~
目标检测新技能!引入知识图谱:Reasoning-RCNN相关推荐
- 图谱实战 | 阿里新零售多模态知识图谱AliMe MKG的建设与应用
转载公众号 | DataFunSummit 分享嘉宾:陈河宏 阿里巴巴 算法工程师 编辑整理:李开琦 SHEIN 出品平台:DataFunTalk 导读:随着知识图谱技术的发展,其在电商.医疗.金融等 ...
- CVPR 2020 | CentripetalNet:目标检测新网络,COCO 48 % AP超现所有Anchor-free网络
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 Anchor-free目标检测新网络,在COCO上可达48 AP!性能优于CenterNet.RPDe ...
- 超越 MobileNet,谷歌提出 MobileDets:移动端目标检测新标杆
原文链接:超越 MobileNet,谷歌提出 MobileDets:移动端目标检测新标杆 导读:在移动端上的目标检测架构,目前比较流行的三大派系分别为:谷歌出品的MobileNet系列(v1-v3). ...
- 重磅开源!目标检测新网络 DetectoRS:54.7 AP,特征金字塔与空洞卷积的完美结合
原文链接:重磅开源!目标检测新网络 DetectoRS:54.7 AP,特征金字塔与空洞卷积的完美结合 论文地址:https://arxiv.org/abs/2006.02334 代码地址(基于mmd ...
- CVPR 2020 | 港中文提出3D目标检测新框架DSGN
©PaperWeekly 原创 · 作者|张承灏 学校|中科院自动化所硕士生 研究方向|双目深度估计 本文介绍的是香港中文大学贾佳亚团队在 CVPR 2020 上提出的 3D 目标检测新框架--深度立 ...
- OpenJS宣布第一个孵化项目; PostgreSQL 12 正式发布;目标检测新突破
行 业 要 闻 Industry News ▲▲▲ 0 1 OpenJS 基金会宣布第一个孵化项目:Node Version Manager OpenJS Foundation宣布,Node Ve ...
- 2020年中国面向人工智能“新基建”的知识图谱行业白皮书
全文共计1379字,预计阅读时间8分钟 来源 | 艾瑞咨询(经授权转载) 编辑 | 蒲蒲 日前,认知智能国家重点实验室&艾瑞咨询联合发布<2020年面向人工智能"新基建&quo ...
- 何恺明团队最新研究:3D目标检测新框架VoteNet,两大数据集刷新最高精度
[导读]FAIR何恺明等人团队提出3D目标检测新框架VoteNet,直接处理原始数据,不依赖任何2D检测器.该模型设计简单,模型紧凑,效率高,在两大真实3D扫描数据集上实现了最先进的3D检测精度. 当 ...
- 深度学习论文阅读目标检测篇(三):Faster R-CNN《 Towards Real-Time Object Detection with Region Proposal Networks》
深度学习论文阅读目标检测篇(三):Faster R-CNN< Towards Real-Time Object Detection with Region Proposal Networks&g ...
最新文章
- 研究人员使用宽场脑成像技术研究意图控制,探索更好的脑机接口使用方式
- JAVA防盗链在报表中的应用实例
- python的断点调试
- 手写自己的MyBatis框架-V2.0结果集处理
- Oracle EBS AP 发票放弃行
- [转]SQL事务回滚的问题及其解决的方法
- c++ 无法读取内存_为什么内存频率只有2133比实际低?开XMP提高内存频率方法
- Flink CDC 2.2 正式发布,新增四种数据源,支持动态加表,提供增量快照框架
- Anaconda完全卸载教程(Windows10系统)
- 2021年口腔正畸行业隐形矫治器专题研究报告
- 如何用visio画直线同时去掉跨线
- Android和iOS人才招聘出现拐点 低能人才泛滥
- J-link 固件版本问题
- vue表格中的内容换行与导出Excel换行
- 少儿编程微课程7:星际飞行单机版
- UGUI事件传递流程解析
- PyQt5 教程 《日期和时间》
- 数学公式识别神器Mathpix,零错误高效率
- CAD标注常见问题:为什么CAD软件快速标注后中间有很多0?
- 项目开发安全经验总结