阅读笔记之：Multimodal learning in Loosely-organized web images-CVPR2014

摘要：网络图像数据包含的元数据包含文本，标题，拍摄位置，拍摄器材等信息。这些信息可能具有噪声，可能残全不全，这篇文章主要是利用多模态的信息，如果没有监督信息就对样本进行聚类，如果有少量的监督信息，就可以对样本进行标注。这篇文章提出了一个隐的CRF模型，把样本看成是CRF模型的nodes，一元项是依赖于选定的模态特征的K-means损失，二元项是其他模态特征的相似度损失，在相似度中使用到了ITML(Information Theoretic Metric Learning)衡量相似度，对于二元项中多种模态的权重，采取结构SVM学习。如果没有二元项就是简单的对单模态数据的K-means聚类。

方法：Constrained clustering framework

由于这篇文章的方法可以看成是K-means在多模态情况下的扩展，in retrospect，我们来看一下k-means的formulation。

其中y_i是类索引，u_k是类中心，x_i是样本。空心大写1（）是指示函数。下面这个函数是在k-means的基础上添加一个损失项，是这篇文章的总的损失函数

第一项就是kmeans同样的表达，只不过alpha函数是二次函数的一般形式，这一项表达的含义就是用其中一个模态的特征进行kmeans聚类，文中把这个模态的特征叫做primary feature。第二项是用两个样本的其他模态特征的相似度来衡量是否应该把他们分为一类。这两项就相当于CRF模型的一元项和二元项，而样本的类别是隐变量，是需要求解的。

文中二元项的定义如上式，其中1（）这一项表明没有丢失的模态数据才对损失函数有贡献，而d_m表明两样本的第m个模态的特征的距离，用ITML表示，

而w_m和b采用structural svm学习得到

delta函数是不正确分类的数据对数量，也就是两个数据是同类的分为不同类，或者是不同类分为同类的样本数量。预测标签的损失函数应该比真值标签的损失函数大，最小化松弛变量就能够得到函数参数。文中说这种损失叫做Rank Index，是一个很popular的度量。

评价：这就是整个方法，要是对于CRF，Structural-SVM, ITML很熟悉的人应该很容易理解。恰好我对这几方面都挺熟悉的，而且多模态的数据我也在研究，不过还是觉得虽然使用的都是我们很熟悉的机器学习方法，但是把他们巧妙的结合起来，使用在合适的场景之下，还是很赞的。这个框架可以解决很多问题，在文章的实验部分也有所体现，待我仔细看。

阅读笔记之：Multimodal learning in Loosely-organized web images-CVPR2014相关推荐

论文阅读笔记：SCAN: Learning to Classify Images without Labels
论文阅读笔记:SCAN: Learning to Classify Images without Labels 摘要简介和相关工作方法表征学习语义聚类损失 2.3 通过自标记进行微调 3 实验 ...
阅读笔记（Communication-Efficient Learning of Deep Networks from Decentralized Data）
阅读笔记(Communication-Efficient Learning of Deep Networks from Decentralized Data) 动机联邦平均实验结果 MINIST优 ...
论文阅读笔记：ProjectionNet: Learning Efficient On-Device Deep Networks Using Neural Projections
提示:阅读论文时进行相关思想.结构.优缺点,内容进行提炼和记录,论文和相关引用会标明出处. 文章目录前言介绍相关工作神经投影网络(Neural Projection Networks) Pro ...
【阅读笔记】Federated Learning for Privacy-Preserving AI
Federated Learning for Privacy-Preserving AI 前言一.论文解析 Definition Categorization Architecture Applic ...
ZH奶酪：【阅读笔记】Deep Learning, NLP, and Representations
中文译文:深度学习.自然语言处理和表征方法 http://blog.jobbole.com/77709/ 英文原文:Deep Learning, NLP, and Representations ht ...
论文阅读笔记--Federated Continual Learning with Weighted Inter-client Transfer
本文提出了一种新的场景,联邦学习(FL)的每个client各自执行一系列的持续学习(Continual Learning)任务,为了说明这个场景的实际意义,文章给出了这样一个场景: 若干个医院要通过一 ...
论文阅读笔记《Few-Shot Learning with Global Class Representations》
小样本学习&元学习经典论文整理||持续更新核心思想本文提出一种基于度量学习的小样本学习算法.与其他算法将训练集分成基础类别和新类别,进行两个阶段的训练方式不同,本文将包含大量样本的基础 ...
论文阅读笔记《Meta-Transfer Learning for Few-Shot Learning》
小样本学习&元学习经典论文整理||持续更新核心思想本文提出一种基于迁移学习的元学习算法(Meta-Transfer Learning,MTL)用于解决小样本学习问题,通过对深层卷积神经 ...
论文阅读笔记——[MPN]: Multi-task Learning with Coarse Priors for Robust Part-aware Person Re-identification
论文:Multi-task Learning with Coarse Priors for Robust Part-aware Person Re-identification TPAMI 2022 ...
论文阅读笔记《Sim-to-real learning for bipedal locomotion under unsensed dynamic loads》
Sim-to-real learning for bipedal locomotion under unsensed dynamic loads 文章目录 Sim-to-real learning f ...

阅读笔记之：Multimodal learning in Loosely-organized web images-CVPR2014

阅读笔记之：Multimodal learning in Loosely-organized web images-CVPR2014相关推荐

最新文章

热门文章