论文阅读笔记——Multi-Label Learning with Global and Local Label Correlation（具有全局和局部标签相关性的多标签学习）
目录
方法
一、低秩矩阵
二、矩阵填充
三、矩阵分解
四、模型
（1）利用标签相关性；使用标签相关性来规范模型；
（2）全局和局部标签相关性可能共存，引入标号流形正则化来合并全局和局部标签；
（3）学习标签的相关性
（4）交替最小化学习（即对U、V、W、Z四个参数，固定其中三个，然后更新另外一个）
实验
数据集
将GLOCAL与最先进的多标签学习算法进行比较
GLOCAL的成功
方法
一、低秩矩阵
如果X是一个m行n列的数值矩阵，rank(X)是X的秩，假如rank (X)远小于m和n，则我们称X是低秩矩阵。低秩矩阵每行或每列都可以用其他的行或列线性表出，可见它包含大量的冗余信息。利用这种冗余信息，可以对缺失数据进行恢复，也可以对数据进行特征提取。
二、矩阵填充
已知A的秩rank(A)<<m且rank(A)<<n，那么我们可以通过矩阵各行(列)之间的线性相关将丢失的元素求出。你会问，这种假定我们要恢复的矩阵是低秩的，合理吗？实际上是十分合理的，比如一个用户对某电影评分是其他用户对这部电影评分的线性组合。所以，通过低秩重构就可以预测用户对其未评价过的视频的喜好程度。从而对矩阵进行填充。
三、矩阵分解
目的：是指用 A*B 来近似矩阵M，那么 A*B 的元素就可以用于估计M中对应不可见位置的元素值，而A*B可以看做是M的分解，所以称作Matrix Factorization。
这是因为协同过滤本质上是考虑大量用户的偏好信息（协同），来对某一用户的偏好做出预测（过滤），那么当我们把这样的偏好用评分矩阵M表达后，这即等价于用M其他行的已知值（每一行包含一个用户对所有商品的已知评分），来估计并填充某一行的缺失值。若要对所有用户进行预测，便是填充整个矩阵，这是所谓“协同过滤本质是矩阵填充”。
那么，这里的矩阵填充如何来做呢？矩阵分解是一种主流方法。这是因为，协同过滤有一个隐含的重要假设，可简单表述为：如果用户A和用户B同时偏好商品X，那么用户A和用户B对其他商品的偏好性有更大的几率相似。这个假设反映在矩阵M上即是矩阵的低秩。极端情况之一是若所有用户对不同商品的偏好保持一致，那么填充完的M每行应两两相等，即秩为1。
所以这时我们可以对矩阵M进行低秩矩阵分解，用U*V来逼近M，以用于填充——对于用户数为m，商品数为n的情况，M是m*n的矩阵，U是m*r，V是r*n，其中r是人工指定的参数。这里利用M的低秩性，以秩为r的矩阵M’=U*V来近似M，用M’上的元素值来填充M上的缺失值，达到预测效果。
低秩分解主要分为以下三个（SVD分解、Tucker分解、Block Term分解）
四、模型
（1）利用标签相关性；使用标签相关性来规范模型；
分解标签矩阵Y=UV；
通过最小化重构误差：
- V代表潜在标签，
- U代表原始标签与潜在标签的相关性；
实例潜在标签（线性映射），学习一个W矩阵；W通过最小化平方损失
预测X,,
（2）全局和局部标签相关性可能共存，引入标号流形正则化来合并全局和局部标签；
流行学习是一类借鉴了拓扑流行概念的降维方法。若低维流形嵌入到高维空间中，则数据样本在高维空间的分布虽然看上去非常复杂，但在局部上仍具有欧氏空间的性质，因此，可以很容易地在局部建立降维映射关系，然后在设法将局部映射关系推广到全局。当维数被降至二维或者三维时，能对数据进行可视化展示，因此流形学习也可被用于可视化。
标签流形正则化：=
（3）学习标签的相关性
在多标签学习中，一种基本方法是通过余弦距离计算两个标签之间的相关系数？？？——当标签可能丢失时，这种估计甚至可能变得误导
在本篇论文中，直接学习拉普拉斯矩阵，而不是指定任何相关度量或标记相关矩阵。
（4）交替最小化学习（即对U、V、W、Z四个参数，固定其中三个，然后更新另外一个）
实验
数据集
在文本上，使用了11个Yahoo数据集（艺术，商业，计算机，教育，娱乐，健康，娱乐，参考，科学，社会和社会）和Enron数据集。
在图像上，使用Corel5k和Image数据集。
将GLOCAL与最先进的多标签学习算法进行比较
GLOCAL使用kmeans聚类算法将数据划分为局部组
在论文中，表2展示了该算法的优越性。
GLOCAL的成功
是由于同时优化标签矩阵的低秩分解，特征空间映射到潜在标签，以及编码全局和局部标签相关性的拉普拉斯矩阵。
论文阅读笔记——Multi-Label Learning with Global and Local Label Correlation（具有全局和局部标签相关性的多标签学习）相关推荐
- 论文阅读笔记《Few-Shot Learning with Global Class Representations》
小样本学习&元学习经典论文整理||持续更新 核心思想 本文提出一种基于度量学习的小样本学习算法.与其他算法将训练集分成基础类别和新类别,进行两个阶段的训练方式不同,本文将包含大量样本的基础 ...
- 论文阅读笔记：SCAN: Learning to Classify Images without Labels
论文阅读笔记:SCAN: Learning to Classify Images without Labels 摘要 简介和相关工作 方法 表征学习 语义聚类损失 2.3 通过自标记进行微调 3 实验 ...
- 论文阅读笔记--Federated Continual Learning with Weighted Inter-client Transfer
本文提出了一种新的场景,联邦学习(FL)的每个client各自执行一系列的持续学习(Continual Learning)任务,为了说明这个场景的实际意义,文章给出了这样一个场景: 若干个医院要通过一 ...
- 论文阅读笔记：ProjectionNet: Learning Efficient On-Device Deep Networks Using Neural Projections
提示:阅读论文时进行相关思想.结构.优缺点,内容进行提炼和记录,论文和相关引用会标明出处. 文章目录 前言 介绍 相关工作 神经投影网络(Neural Projection Networks) Pro ...
- 论文阅读笔记——[MPN]: Multi-task Learning with Coarse Priors for Robust Part-aware Person Re-identification
论文:Multi-task Learning with Coarse Priors for Robust Part-aware Person Re-identification TPAMI 2022 ...
- 论文阅读笔记《Meta-Transfer Learning for Few-Shot Learning》
小样本学习&元学习经典论文整理||持续更新 核心思想 本文提出一种基于迁移学习的元学习算法(Meta-Transfer Learning,MTL)用于解决小样本学习问题,通过对深层卷积神经 ...
- 【论文阅读笔记】Noise2Noise: Learning Image Restoration without Clean Data
官方代码地址:https://github.com/NVlabs/noise2noise 论文地址:https://arxiv.org/abs/1803.04189 第一次接触这方向,相当于翻译了 ...
- 论文阅读笔记《Sim-to-real learning for bipedal locomotion under unsensed dynamic loads》
Sim-to-real learning for bipedal locomotion under unsensed dynamic loads 文章目录 Sim-to-real learning f ...
- 论文阅读笔记之《Learning Deep Correspondence through Prior and Posterior Feature Constancy》
本篇博客记录一下最近看的一篇KITTI2015上排名第二的网络结构iResNet-i2e2 一 论文贡献 二 基础知识 a 贝叶斯推导 b 概念解释 三 iResNet-i2e2的网络结构 1 组成 ...
最新文章
- cvpr2019 目标检测算法_CVPR2019 | 0327日更新12篇论文及代码汇总（多目标跟踪、3D目标检测、分割等）...
- python编程从入门到精通 叶维忠 pdf-最好的Python入门教材是哪本？
- linux一键重装系统脚本,一键重装CentOS纯净版系统shell脚本
- python学习（十八） 程序打包
- boostrap 鼠标滚轮滑动图片_16种基于Bootstrap的css3图片hover效果
- python openstack vpc互通_深入浅出新一代云网络——VPC中的那些功能与基于OpenStack Neutron的实现（一）-简述与端口转发...
- 解码H264视频出现花屏或马赛克的问题
- VBA 根据模板批量生成工作表
- go:embed 的使用
- 王老吉、加多宝双茶争霸：新零售布局将成未来胜负关键？
- java商城源码_java 多商户商城系统源码分享
- 【系统设计】Verilog语法及示例（2）
- 最小二乘法 拟合平面直线
- patindex函数的用法介绍
- Python配置新环境时，复制已经安装好虚拟环境的三种方法
- K12563 输出树的广度优先遍历序列
- Python网络爬虫实战练习：爬取豆瓣图书信息
- 6.网络io模型及阻塞模型
- matlab 2016b vs2010,在Matlab2010b中调用 Microsoft Visual C++ 2010
- 基于MATLAB的疲劳检测系统