摘要

场景图是解析图像内的强大表示，即他们的抽象语义元素，即，对象及其互动，这促进了视觉理解和解释的推理。另一方面，常识性知识图形是丰富的存储库，它编码了世界是如何构建的，以及一般概念如何互动。在本文中，我们给出了这两种构造的统一表述，其中场景图被视为常识知识图的图像条件实例化。基于这一新的观点，我们**将场景图的生成重新定义为场景和常识图之间的桥梁推理，其中场景图中的每个实体或谓词实例必须与常识图中相应的实体或谓词类相连接。**为此，我们提出了一种新的基于图的神经网络，它在两个图之间和每个图内部迭代传播信息，并在每次迭代中逐步完善它们的桥梁。我们的图桥接网络，GB-Net，依次推断边和节点，允许同时开发和细化互连场景和常识图的丰富的异构结构。通过广泛的实验，我们展示了gb - net相对于最新方法的优越精度，从而达到了新的技术水平。我们公开发布了我们方法的源代码。

3 Problem Formulation

在本节中，我们首先将知识图的概念正式，特别是尤其是概述。利用他们的相似之处，然后我们为桥接这些两种缩影来重构场景图一代的问题。

3.1 Knowledge graphs

我们将知识图定义为一组实体和谓词节点(NE,NP)，每个节点都有一个语义标签，以及一组来自预定义类型集的有向加权边。

4. method

所提出的方法如图2所示.给定一幅图像，我们的模型首先应用Faster R-CNN[36]检测目标，并将其表示为场景实体(scene entity, SE)节点。它还为每对实体创建一个场景谓词(SP)节点，形成一个有待分类的场景图提议。给这个图形一个背景常识图，每个图都有固定的内部连接，我们的目标是在连接每个实例(SE和SP节点)到其对应的类(CE和CP节点)的两个图之间创建桥边。为此，我们的模型通过将每个SE连接到符合Faster R-CNN预测的标签的CE来初始化实体桥，并通过具有专用消息传递参数的每一种边缘类型在所有节点之间传播消息。给定更新的节点表示，它计算每个sp节点和每个CP节点之间的成对相似度，并通过谓词桥找到最大的相似度对，将场景谓词连接到它们对应的类。。它还为实体节点做同样的工作，以潜在地完善它们的桥。给定了新桥，它将再次传播消息，并重复此过程的预定义步骤数。桥的最终状态决定了每个节点属于哪个类，从而产生输出场景图。

SGG Trans【Bridging Knowledge Graphsto Generate Scene Graphs】相关推荐

【Unity3D 教程系列第 16 篇】Scene视图很清楚，但是Game视图却很模糊的解决方案
这是[Unity3D 教程系列第 16 篇],如果觉得有用的话,欢迎关注专栏. 如果你用 Unity 时,Scene 视图上很清楚,但是 Game 视图却很模糊,恭喜你,你的问题即将被解决了,继续看- ...
【论文阅读笔记】Say As You Wish: Fine-grained Control of Image Caption Generation with Abstract Scene Graphs
Say As You Wish: Fine-grained Control of Image Caption Generation with Abstract Scene Graphs 2020-CV ...
【今日CS 视觉论文速览】Thu, 6 Dec 2018
今日CS.CV计算机视觉论文速览 Thu, 6 Dec 2018 Totally 52 papers Daily Computer Vision Papers [1] Title: Dissectin ...
【时光之穿越一千年】python全文字频解析【jieba】【matplotlib构图】案例
需要环境:[jieba.wordcloud.matplotlib] 小说资料请自己去下载,或者找你想解析的小说即可.我这里爬取的[时光之穿越一千年] 我放在了项目路径下: 解析代码: import j ...
【youcans 的 OpenCV 例程 200 篇】112. 滤波反投影重建图像
欢迎关注『youcans 的 OpenCV 例程 200 篇』系列,持续更新中欢迎关注『youcans 的 OpenCV学习课』系列,持续更新中 [youcans 的 OpenCV 例程 2 ...
深度分析DROP,TRUNCATE与DELETE的区别【我的数据库之路系列】
深度分析DROP,TRUNCATE与DELETE的区别[我的数据库之路系列] 转载自:http://hi.baidu.com/bjn_wuming/blog/item/8b27a9af36ef26f6 ...
【Java从0到架构师】Maven
Maven Tomcat 部署项目的方式传统项目 vs Maven 项目 Maven Maven 项目的常见目录 pom.xml 构建生命周期 default 生命周期常用命令 dependenc ...
【Threejs效果：挖空几何体】ThreeBSP实现墙体挖洞
1 效果如下 2 代码如下基本思路: (1) 创建两个mesh,一个墙体,一个窗户 (2) 然后取墙体和窗户的差集,将差集转换成几何体 (3) 根据几何体新建mesh,并贴纹理依赖库有三个: im ...
【IOS自动化解放双手系列一】unity3D导出xcode 工程并配置各种权限
打包是程序员必经之路.如何实现自动化是一个程序员的基本素质.(都是因为我懒,哈哈哈). 使用环境 :unity3D 2017.4.7 Mac Pro 打包分一下几个部分 : 1.unity3D导出xc ...
嵌入式监控【v4l2采集-vpu编码-live555推流】
嵌入式监控[v4l2采集->vpu编码->live555推流] 文章目录嵌入式监控[v4l2采集->vpu编码->live555推流] 介绍数据流图一.v4l2 1.1 ...

SGG Trans【Bridging Knowledge Graphsto Generate Scene Graphs】

Bridging Knowledge Graphsto Generate Scene Graphs

摘要

3 Problem Formulation

3.1 Knowledge graphs

4. method

SGG Trans【Bridging Knowledge Graphsto Generate Scene Graphs】相关推荐

最新文章

热门文章