ALE-零学习zero-shot（Label-Embedding for Attribute-Base Classification）

1.文章提出的背景：
DAP有许多缺点：
（1）预测属性可以，预测类别不太行
（2）不能增量学习
（3）无法利用除属性外的信息
*先科普一下什么是DAP
DAP(Direct Attribute Prediction)

DAP可以理解为一个三层模型：
第一层是原始输入层，例如一张图片，用像素的方式进行描述；
第二层是n维特征空间，每一维代表一个特征；
第三层是输出层，输出模型对输出样本的类别判断。
在第一层和第二层中间，训练n个分类器，用于对一张图片判断是否符合n维特征空间各个维度所对应的特征；
在第二层和第三层间，有一个语料知识库，用于保存n维特征空间和输出y的对应关系。

2.提出问题：有什么办法可以解决DAP模型的缺点？
3.提出方法：

（1）将图片映射到特征空间中得到θ(x)（文章在第四部分4.1中的特征提取中有写到，将128维的SIFT向量和96维的颜色向量用PCA降维成一个64维向量，然后将其用FV聚合成图像级表示，然后产生SIFT的FV和颜色的FV，然后用高斯混合模型把他们连接成65535维FV，这些FV就是映射到特征空间上的）
（2）将标签嵌入到属性空间（语义空间）得到ϕ(y)（文章在第三部分3.2的ALE中有写到，用ρ（属性与类之间的联系），ρ为0/1，还用奇异值分解（SVD）进行属性去相关性，映射过去后进行归一化，归一到{0,1}中），把一个类别映射到合适的欧几里得属性空间中。
（3）设计一个θ(x)与ϕ(y)匹配度函数F(x,y;w)（输入数据x与类别y之间的匹配度）
两种求法（1）通过一个中间矩阵W使θ(x)与ϕ(y)相乘（2）欧式距离
如果θ(x)与ϕ(y)的维数较大，还可以进行低秩分解
（4）给定一个数据x，用f(x;w)进行预测，预测函数f要从所有类别y中，找到一个类别y使得F(x, y; w)的值最大。
Zero-shot learning（不能用辅助信息）：文中借鉴WSABIE算法，使目标函数变为跟SSVM很相似的结构、对于每一个样本，计算对应每个类别的得分。然后从其他所有不是正确类别的得分中找出最大的得分；逐样本累加后即得到损失函数的值，然后利用SGD等方法对参数进行更新
Few-shots learning（能用辅助信息）：为了使遇到之前训练样本中不存在对应类别的数据时，能逐步利用新的训练样本来改善模型。文中借鉴WSABIE算法，使目标函数在ZSL目标函数的基础上加上欧氏距离。其中参数Φ为在一定维度随机初始化的参数。在使用SGD等方法进行参数更新的时候，为使该损失函数的值尽可能得小，显然Φ要尽可能得接近ΦA，同时也利用了训练样本中存在的部分信息。从而使得ALE模型达到可以逐步利用新的训练样本（之前的训练样本中不存在的类别）的信息来改善模型。
4.实验
（1）数据集：AWA和CUB
（2）所做实验
*训练所使用的框架：通过与RR和多类别比较，发现用排序框架好
*属性嵌入：通过与{-1，+1}和均值比较，发现用{0,1}加上l2归一化好
*ALP和DAP：发现在越详细的数据集上，ALE效果更好
*ALE和HLE：发现将属性换成其他数据源（例如Wordnet）一样能行
5.结论
解决了上面所提到的三个问题（1）用文中所提出的匹配函数解决，不像DAP用属性，ALE用类
（2）用SGD解决（3）HLE也行，说明可以用其他源
还可以应用到大量数据标签的识别
6.不足
（1）没有优化属性分类器（文中也做了实验，发现不影响可解释性）
（2）在第三部分等式（3）下面D矩阵不一定能直接跟E矩阵相乘

ALE-零学习zero-shot（Label-Embedding for Attribute-Base Classification）相关推荐

从零学习SwinTransformer
论文信息论文名称:Swin Transformer: Hierarchical Vision Transformer using Shifted Windows 原论文地址: https://arx ...
从零学习pytorch 第2课 Dataset类
课程目录(在更新,喜欢加个关注点个赞呗): 从零学习pytorch 第1课搭建一个超简单的网络从零学习pytorch 第1.5课训练集.验证集和测试集的作用从零学习pytorch 第2课 Da ...
快速系统从零学习OpenCV 4路线图
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达转眼间,小白学视觉就要成立三周年了,小白一直是很感谢小伙伴们的支持 ...
【从零学习OpenCV 4】4种读取Mat类元素的的方法
本文首发于"小白学视觉"微信公众号,欢迎关注公众号本文作者为小白,版权归人民邮电出版社所有,禁止转载,侵权必究! 经过几个月的努力,小白终于完成了市面上第一本OpenCV 4入门 ...
【从零学习OpenCV 4】Mat类构造与赋值
本文首发于"小白学视觉"微信公众号,欢迎关注公众号本文作者为小白,版权归人民邮电出版社所有,禁止转载,侵权必究! 经过几个月的努力,小白终于完成了市面上第一本OpenCV 4入门 ...
【从零学习OpenCV 4】Mat类介绍
本文首发于"小白学视觉"微信公众号,欢迎关注公众号本文作者为小白,版权归人民邮电出版社所有,禁止转载,侵权必究! 经过几个月的努力,小白终于完成了市面上第一本OpenCV 4入门 ...
【从零学习OpenCV 4】安装过程中问题解决方案
本文首发于"小白学视觉"微信公众号,欢迎关注公众号本文作者为小白,版权归人民邮电出版社所有,禁止转载,侵权必究! 经过几个月的努力,小白终于完成了市面上第一本OpenCV 4入门 ...
【从零学习OpenCV 4】了解OpenCV的模块架构
本文首发于"小白学视觉"微信公众号,欢迎关注公众号本文作者为小白,版权归人民邮电出版社所有,禁止转载,侵权必究! 经过几个月的努力,小白终于完成了市面上第一本OpenCV 4入门 ...
【从零学习OpenCV 4】Image Watch插件的使用
本文首发于"小白学视觉"微信公众号,欢迎关注公众号本文作者为小白,版权归人民邮电出版社所有,禁止转载,侵权必究! 经过几个月的努力,小白终于完成了市面上第一本OpenCV 4入门 ...
【从零学习OpenCV 4】opencv_contrib扩展模块的安装
本文首发于"小白学视觉"微信公众号,欢迎关注公众号本文作者为小白,版权归人民邮电出版社所有,禁止转载,侵权必究! 经过几个月的努力,小白终于完成了市面上第一本OpenCV 4入门 ...

ALE-零学习zero-shot（Label-Embedding for Attribute-Base Classification）

ALE-零学习zero-shot（Label-Embedding for Attribute-Base Classification）相关推荐

最新文章

热门文章