【论文阅读笔记】Learning To Detect Unseen Object Classes by Between-Class Attribute Transfer

摘要：

本文主要研究训练和测试类别不相交时（即没有目标类别的训练示例）的对象分类问题。在此之前并没有对于毫无关联的训练集和测试集进行对象检测的工作，只是对训练集所包含的样本进行分类。实验表明，通过使用属性层，确实可以构建不需要目标类的任何训练图像的学习对象检测系统。

算法流程：

假设：

$\left ( x_1,l_1{} \right ),...\left ( x_1,l_1{} \right )$ 为训练样本 $x$ 和相应类别标签 $l$ 的成对数据，数量为 $n$ ，总共有 $k$ 个类别，用 $Y=\left \{ y_1,...,y_k \right \}$ 表示。

目的：

学习一个分类器: $f:X\rightarrow Z$ ，其中 $Z=\left \{ z_1,...,z_L \right \}$ 给测试分为 $L$ 类。 $Y$ 为训练集中所包含的类别， $Z$ 为测试集中所包含的类别，两者无交集。

流程：

为实现上述目标，需要建立 $Y$ 与 $Z$ 的关系。因为训练时没有任何关于 $Z$ 的信息，文章提出建立一个人工定义的属性层 $A$ 。该属性层应良好的表现样本的类别信息，且定义起来不能太过复杂。引用一位博主的话：

其实整个算法的精髓也就在于这个属性层A，通过这个属性层，将原本基于图片低维特征的分类器，转变为基于高维语义特征（属性层）的分类器，使得训练出来的分类器，分类能力更广，有突破类别边界的能力。可以类比人的思维方式，当人遇到没见过的东西的时候，虽然不会知道它的名字和所属类别，但是能够抽象出它的高维特征。

为实现迁移学习，构造属性层，文章提出了两种模型：

直接属性预测(Direct attribute prediction DAP)：

在样本和训练类标之间加入一个属性层 $A$ ，利用监督学习方式，可以学习到从 $x$ 生成 $A$ 的属性参数 $\beta$ 。在测试阶段，可以利用属性层 $A$ 来表示测试数据产生的类别 $Z$ ，从而实现迁移学习。

间接属性预测(Indirect attribute prediction IAP)：

在训练阶段和传统的监督训练一样，只是在其标签 $Y$ 上学习一层属性表示层 $A$ 。在测试阶段，利用标签层 $Y$ 和属性层 $A$ 就可以推出测试数据的类别 $Z$ 。

上述的两种模型，可以用概率图模型的知识进行建模。为简单起见，我们假定所有属性都具有二进制值，使得任何训练类 $y$ 的属性表示 $a_y=\left \{ a_1,...a_m \right \}$ ，是固定长度的二进制向量。原则上，可以通过使用回归而不是分类来以相同方式处理连续属性。

对于DAP：可以通过监督学习，得到image-attribute层的概率表示 $P\left ( a\mid x\right )$ ，它是样本 $x$ 对于所有 $a_m$ 的后验概率的乘积。在测试时，每一个类别 $z$ 可以用一个属性向量 $a_z$ 表示。利用贝叶斯公式得到概率公式

$p\left ( z|x \right )= \sum_{a\epsilon \left \{ 0,1 \right \}}^{}Mp\left ( z|a \right )p\left ( a|x \right )=\frac{p(z)}{p(a^{z})}\prod_{m=1}^{M}p(a_{m}^{z}|x)$

由于测试类别Z是未知的，所以可以假设其先验概率相同，即每个 $p(z)$ 的值是相同的，因此可以去除公式中的 $p(z)$ 。同时，借助经验函数 $p\left ( a_m \right )= \frac{1}{K}\sum_{k=1}^{K}a_{m}^{y_k}$ ，表示先验概率 $p(a)$ 。最终由 $f:X\rightarrow Z$ 的推测，可以使用MAP prediction：

$f(x)=\underset{l=1,...,L}{argmax}\prod_{m=1}^{M}\frac{p(a_{m}^{z_l}|x)}{p(a_{m}^{z_l})}$

对于IAP，仅仅调整了属性表示层。在训练阶段和传统的监督训练一样，在其标签上学习属性表示层 $A$ 。在测试阶段，同样可根据MAP prediction，得到最终的结果

关于DAP和IAP的整体过程，借鉴一位博主的话：

中间属性层A是事先人工定义好的，也就是说，对于训练类别Y可以表示成属性向量ay的形式，同样测试类别Z也可以表示为属性向量az的形式。这个属性层的定义要求不太繁琐，而且能够较好地反映出类别的性质。对于DAP来说，先训练一个分类器X->A，利用训练集Y对应的属性向量进行训练。测试时，即可得到测试样本对应的属性向量A，对比测试集Z类别的属性向量，即可得到对于unseen数据的预测类别。

实验结果：

最终的实验结果：DAP的准确率为40.5%，IAP的准确率为27.8%

This results in a multi-class accuracy of 40.5% for DAP, as measured by the mean of the diagonal of the confusion matrix,and a multi-class accuracy of 27.8% for IAP.

此外，作者使用了一个传统的监督训练。有监督的训练所得出的多类准确性达到65.9％，确实比基于属性的学习取得的40.5％更好。但是，考虑到两者使用数据量的差异，在没有或只有很少的训练集可用的领域，本文提出了一种新的解决方法。

参考文献：

[1] C. H. Lampert, H. Nickisch and S. Harmeling, "Learning to detect unseen object classes by between-class attribute transfer," 2009 IEEE Conference on Computer Vision and Pattern Recognition, Miami, FL, 2009, pp. 951-958.

[2] 不会讲段子的正能量小栗子,"Learning To Detect Unseen Object Classes by Between-Class Attribute Transfer(阅读报告)"

https://blog.csdn.net/u011070272/article/details/73250102

[3] Ace Cheney,"Zero-Shot Learning论文阅读笔记(第一周)",

https://blog.csdn.net/Accelerato/article/details/101309339

【论文阅读笔记】Learning To Detect Unseen Object Classes by Between-Class Attribute Transfer相关推荐

Zero-shot Learning零样本学习论文阅读（一）——Learning to detect unseen object classes by between-class attribute
Zero-shot Learning零样本学习论文阅读(一)--Learning to detect unseen object classes by between-class attribute ...
Learning To Detect Unseen Object Classes by Between-Class Attribute Transfer(阅读报告)
该论文发表在CVPR2009上,工作的主要的开创性在于:在此之前并没有对于毫无关联的训练集和测试集进行对象检测的工作.简单来说,对于监督学习训练的分类器而言,只能对训练集中包括的样本类别进行分类,比如 ...
论文阅读笔记：Retinal blood vessel segmentation using fully convolutional network with transfer learning
Retinal blood vessel segmentation using fully convolutional network with transfer learning 使用全卷积网络与迁 ...
视频分类论文阅读笔记——Learning Spatiotemporal Features With 3D Convolutional Networks
论文:Learning Spatiotemporal Features With 3D Convolutional Networks 作者:FaceBook AI研究院来源:ICCV2015 代码: ...
[论文阅读笔记]Learning Memory-guided Normality for Anomaly Detection
论文发表年限:CVPR,2020 作者:Hyunjong Park.Jongyoun Noh.Bumsub Ham 论文下载地址:Learning Memory-guided Normality fo ...
Small Object Detection using Context and Attention（论文阅读笔记）
Small Object Detection using Context and Attention 论文阅读笔记出处:2021 International Conference on Artifi ...
Learning Multiview 3D point Cloud Registration论文阅读笔记
Learning multiview 3D point cloud registration Abstract 提出了一种全新的,端到端的,可学习的多视角三维点云配准算法. 多视角配准往往需要两个阶段 ...
Dynamic Head Unifying Object Detection Heads with Attentions 论文阅读笔记
Dynamic Head Unifying Object Detection Heads with Attentions论文阅读笔记这是微软在CVPR2021发表的文章,在coco数据集上取得了目前 ...
论文阅读笔记：SCAN: Learning to Classify Images without Labels
论文阅读笔记:SCAN: Learning to Classify Images without Labels 摘要简介和相关工作方法表征学习语义聚类损失 2.3 通过自标记进行微调 3 实验 ...

【论文阅读笔记】Learning To Detect Unseen Object Classes by Between-Class Attribute Transfer

【论文阅读笔记】Learning To Detect Unseen Object Classes by Between-Class Attribute Transfer相关推荐

最新文章

热门文章