CVPR19 基于图卷积网络的多标签图像识别模型 论文笔记
笔记
旷视研究院的研究员提出了如下模型,用于图像的多标签分类.
该模型与一般模型不一样的一点是,它的分类器是生成的,因此它有一个专门生成分类器的子网络.
网络主要由两部分构成
- 特征表示子网络,该网络由ResNet-101构成,即蓝色框圈出的部分.
- 分类器生成子网络,该网络由3个GCN层串联组合而成,即红色框组成部分.
动机
- 基于标签的共现模式，旷视研究员设计了一个全新的标签相关系数矩阵，可显式地用 GCN建模标签相关性，让节点的特征在更新时也能从相关联的节点（标签）吸收信息。
- 由于从词嵌入向量到分类器的映射参数在所有类别中是共享的，所以习得的分类器能够在词嵌入空间中（语义相关的概念在词嵌入空间中彼此临近）保留较弱的语义结构。与此同时，对于可以对标签依赖性进行隐式建模的分类器函数，所有分类器的梯度都会对它产生影响。
GCN层
每个标签可以看做是一个特征向量.
在第一层的时候,标签的特征向量是ddd维度的,刚好是一个词嵌入向量.
在第二层的时候,标签的特征向量是d′d'd′维度的,是经过了一个转换矩阵W2W^2W2的映射.
在第三层的时候,标签的特征向量是DDD维度的,也是经过了一个转换矩阵W3W^3W3的映射,映射完之后,每个标签的特征向量维度刚好和ResNet101抽取到的特征维度相同了,因此可以作为该标签的分类器了.
这对应第2个动机.
至此还未用到标签间的拓扑图结构,也就没有用到标签间的共现关系,因此他们设计了一个共现矩阵AAA,用于引导信息在标签间的传递.
A∈Rn∗nA \in R^{n*n}A∈Rn∗n,其中nnn是标签的数量.
矩阵是一个先验矩阵,不需要被学习.
这就对应了第1个动机
因此得到了GCN变换公式:
Hl∈Rn∗d,Wl∈Rd∗d′,A∈Rn∗nH^l \in R^{n*d},W^l\in R^{d*d'},A\in R^{n*n}Hl∈Rn∗d,Wl∈Rd∗d′,A∈Rn∗n
Hl+1=h(AHlWl)H^{l+1}=h(AH^{l}W^{l})Hl+1=h(AHlWl)
AAA的设计
如图所示,一个很朴素的想法,就是计算一对标签的条件概率作为他们的相关系数.
这样有两个坏处
- 测试和训练过程中的条件概率可能会不一样.
- 存在噪音问题导,致长尾分布.
作如下改进: 将矩阵进行二值化,设置一个阈值τ∈[0,1]\tau \in [0,1]τ∈[0,1]
Aij=[Pij≥τ]A_{ij}=[P_{ij} \ge \tau]Aij=[Pij≥τ]
二值化之后解决了上述两个问题,然而也会引入新的问题,即过度平滑问题.
因此他们提出了二次加权的方法:
ppp是一个预设的超参数.
当p→1p \rightarrow 1p→1的时候,节点自身的特征往往不会被考虑.
当p→0p \rightarrow 0p→0的时候,节点相邻点的特征往往不会被考虑.
细节
当一个标签包含多个单词的时候,将所有单词的embedding取平均.
实验结果
可视化
通过对分类器的可视化,我们可以发现,确实使用GCN可以学习到吧标间之间的内在关联性.
CVPR19 基于图卷积网络的多标签图像识别模型 论文笔记相关推荐
- CVPR 2019 | 旷视研究院提出ML-GCN：基于图卷积网络的多标签图像识别模型
全球计算机视觉三大顶会之一 CVPR 2019 (IEEE Conference on Computer Visionand Pattern Recognition)将于 6 月 16-20在美国洛杉 ...
- 基于图卷积网络的测量与先验知识相结合的故障诊断方法
目录 Graph Convolutional Network-Based Method for Fault Diagnosis Using a Hybrid of Measurement and Pr ...
- 论文浅尝 | 基于图卷积网络的跨语言图谱实体对齐
论文笔记整理:谭亦鸣,东南大学博士生,研究兴趣:知识图谱问答 本文提出了一种基于图卷积网络的跨语言实体对齐方法,通过设计一种属性 embedding 用于 GCN 的训练,发现GCN能同时学习到特征 ...
- Survey | 基于图卷积网络的药物发现方法
本期介绍2019年6月发表在Briefings in Bioinformatics的综述,该综述由康奈尔大学等机构的研究人员撰写,系统总结了GCN及其在药物发现方面的最新进展,重点是与药物相关的应用: ...
- GraphDTA | 基于图卷积网络预测药物-靶标结合亲和力
1. 研究背景 现有的高通量筛选实验用于确定药物和靶标之间的生物活性是一个昂贵费时的步骤.因此,基于已经在临床实验中测量的相互作用,使用统计学和机器学习模型来估计新的药物-靶标的相互作用的强度是重要的 ...
- ESWC 2018 | R-GCN：基于图卷积网络的关系数据建模
目录 前言 1. 关系图卷积网络 2. 正则化 3. 实验 3.1 节点分类 3.2 链接预测 前言 题目: Modeling Relational Data with Graph Convoluti ...
- 基于对抗生成网络的图像转换技术【论文笔记】
前两篇文章是对方法的改进,详细地论证了提出的方法的可行性和优越性.后两篇是应用型,针对一个特定的问题提出方法. Image-to-Image Translation with Conditional ...
- 直播 | WWW 2021论文解读：论解耦图卷积网络和标签传播的等价性
「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间,旨在帮助更多的青年学者宣传其最新科研成果.我们一直认为,单向地输出知识并不是一个最好的方式,而有效地反馈和 ...
- 【Graph Neural Network 图神经网络】3.Spatial-based Graph Convolutional Networks 基于空间的图卷积网络
前言 类似于图像上传统的卷积运算,基于空间的方法根据节点的空间关系定义图卷积.图像可以看作是一种特殊的图形式,每个像素代表一个节点.每个像素都直接连接到它附近的像素,如下图左所示.对3*3的区域应用一 ...
最新文章
- mysql表结构说明只能为1 8_SQL基础
- Python中获取异常（try Exception）信息
- log4j2配置文件的故事
- PIC单片机入门_同步/异步通信技术基础
- 七十二、区间合并，插入求交集， 删除被覆盖区间
- linux网站爬取,Kali下httrack 爬取网站页面
- Vue项目中一些常见的文件名及作用
- excel设置图片自动更新_智能Excel排班表，日期自动更新，三班排班一键统计，极简轻松...
- I. Space Station（hash记忆化+dp）
- C++语法：构造函数以及析构函数
- OpenGL实用开源代码列表
- python名称空间与运用域_Python名称空间和作用域讲座,命名,Namespaces,Scopes
- mysql percona 密码设置_Percona mysql5.7 默认密码
- AI议题首次进入世界移动大会，打响第一枪的是LG
- python序列操作_序列操作
- aop cache再讨论
- 电源层和地线层完整性规则_射频电路设计实例以及一些经常遇见的问题
- Himawari-8数据下载及命名
- 惠普计算机安转不上xp,雨林木风xp系统上安装不上惠普打印机驱动的解决办法...
- 易捷行云EasyStack携新一代私有云亮相中国电子信息博览会