动机与主要知识点介绍

动机：

先前的ZSL学习要么简单地将图像的全局特征与其相关的类语义向量对齐，要么利用单向注意力来学习有限的潜在语义表示。以上操作，没有有效的发现内在语义视觉特征和属性特征。说白了，以前的方法仅仅是简单地单向运用了全局的注意力机制，没有发现到网络真正注意到的属性部分，例如斑马的条纹属性，鸟的翅膀属性等等。

因此，提出了一个名为 Mutually Semantic Distillation Network (MSDN) 的网络，目的就是为了蒸馏视觉与语义特征之前内在的语义表示。由两部分组成：一是attribute →visual attention sub-net，学习基于属性的视觉特征；二是visual →attribute attention sub-net，学习基于视觉的属性特征。然后提出了一个蒸馏损失，可以两部分子网络相互矫正与学习。

网络结构

Attribute→Visual Attention Sub-net

输入：(1) 图像的视觉特征集合 V={v1,…,vR}V=\left\{v_1, \ldots, v_R\right\}V={v1,…,vR}，每个视觉特征编码图像中的一个区域（2）语义特征向量集合A={a1,…,aK}A=\left\{a_1, \ldots, a_K\right\}A={a1,…,aK}。

关注每个属性的图像区域，并将每个属性与相应的关注视觉区域特征进行比较，以确定每个属性的重要性。对于第 k 个属性，对应图像的第 r 个区域的注意力权重定义为：βkr=exp⁡(ak⊤W1vr)∑k=1Kexp⁡(ak⊤W1vr)\beta_k^r=\frac{\exp \left(a_k^{\top} W_1 v_r\right)}{\sum_{k=1}^K \exp \left(a_k^{\top} W_1 v_r\right)}βkr=∑k=1Kexp(ak⊤W1vr)exp(ak⊤W1vr)，其中 W1 是一个可学习的矩阵，用于计算每个区域的视觉特征并衡量每个语义属性向量之间的相似度。由此，得到一组注意力权重{βkr}r=1R\left\{\beta_k^r\right\}_{r=1}^R{βkr}r=1R。然后，基于注意力权重，提取基于属性的视觉特征Fk=∑r=1RβkrvrF_k=\sum_{r=1}^R \beta_k^r v_rFk=∑r=1Rβkrvr。在获取特征图集合F之后，这里要引入一个映射函数M1\mathcal{M}_1M1，将它们映射到语义嵌入空间。为了更加精确，这里引入了语义属性向量集合A={a1,a2,⋯,aK}A=\left\{a_1, a_2, \cdots, a_K\right\}A={a1,a2,⋯,aK}，M1\mathcal{M}_1M1将基于属性的视觉特征FkF_kFk与aka_kak相匹配。于是公式表示为：ψk=M1(Fk)=ak⊤W2Fk\psi_k=\mathcal{M}_1\left(F_k\right)=a_k^{\top} W_2 F_kψk=M1(Fk)=ak⊤W2Fk，这里ψk\psi_kψk 是一个属性得分，表示在给定图像中具有第 k 个属性的置信度。

Visual→Attribute Attention Sub-net

这一部分其实和Attribute→Visual Attention Sub-net十分相似，包括中间的推理及计算过程。

Loss

总共有两部分组成：

Zero-Shot Learning学习笔记 -- CVPR_2022_MSDN: Mutually Semantic Distillation Network for Zero-Shot Learn相关推荐

笔记 | 吴恩达Coursera Deep Learning学习笔记
向AI转型的程序员都关注了这个号☝☝☝ 作者:Lisa Song 微软总部云智能高级数据科学家,现居西雅图.具有多年机器学习和深度学习的应用经验,熟悉各种业务场景下机器学习和人工智能产品的需求分析.架 ...
论文学习笔记 POSEIDON: Privacy-Preserving Federated Neural Network Learning
论文学习笔记 POSEIDON: Privacy-Preserving Federated Neural Network Learning NDSS 2021录用文章目录论文学习笔记 POSEID ...
【Machine Learning 学习笔记】Stochastic Dual Coordinate Ascent for SVM 代码实现
[Machine Learning 学习笔记]Stochastic Dual Coordinate Ascent for SVM 代码实现通过本篇博客记录一下Stochastic Dual Coor ...
【Machine Learning 学习笔记】feature engineering中noisy feature的影响
[Machine Learning 学习笔记]feature engineering中noisy feature的影响通过本篇博客记录一下添加噪声对Lasso和SVM的影响,采用的数据集为sklea ...
网上某位牛人的deep learning学习笔记汇总
目录(?)[-] 作者tornadomeet 出处httpwwwcnblogscomtornadomeet 欢迎转载或分享但请务必声明文章出处 Deep learning一基础知识_1 Deep le ...
Machine Learning学习笔记（十）K-means聚类算法
K-Means介绍 K-means算法是聚类分析中使用最广泛的算法之一.它把n个对象根据他们的属性分为k个聚类以便使得所获得的聚类满足:同一聚类中的对象相似度较高:而不同聚类中的对象相似度较小.其聚类 ...
机器学习 Maching Learning - 学习笔记 - 概括篇
此篇是概括总结,之后会更新每个模型的笔记.梳理一下这段时间学习的内容. 1 定义 What is Machine Learning Arthur Samuel(亚瑟塞缪尔): the field of ...
[增强学习][Reinforcement Learning]学习笔记与回顾-1
引言增强学习这几篇博客在于学习增强学习中所获得知识的理解与回顾,如果想要深入学习增强学习,请参考后文所列出的资料和书籍.本文只用于复习与理解. Introduction to Reinforceme ...
CV视觉论文Deep learning学习笔记（一）
论文介绍和监督学习(introduction of paper and supervision of learning) 1. 论文介绍和作者介绍作者:论文作者是2018年图灵奖得主yoshua B ...

Zero-Shot Learning学习笔记 -- CVPR_2022_MSDN: Mutually Semantic Distillation Network for Zero-Shot Learn

文章目录