#论文笔记#【MRM-Lasso:A sparse Multiview Feature Selection Method Via Low-Rank Analysis】论文笔记
前言
从现在开始记录一下看的每篇论文，也算是给研究生三年一个交代，不然三年过去了啥也没干不太好。虽然以后可能不会从事这个行业，但是把当下的事做好，不管什么行业，自律是很重要的，从去年进实验室到现在，一年都快过去了，自己也是这么浑浑噩噩的过了下来，论文没看几篇，也没学到什么，考研那时候的我哪去了？压力还是应该适当要有的，这样才有动力，我懒散了大半年了，再这样下去跟一起进来的同学差距只会越来越大，不想让自己后悔，So，保持学习的态度！
MRM-Lasso: A Sparse Multiview Feature SelectionMethod via Low-Rank Analysis
IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS, VOL. 26, NO. 11, NOVEMBER 2015 280
Wanqi Yang, Yang Gao, Member, IEEE, Yinghuan Shi, and Longbing Cao, Senior Member, IEEE
一、摘要
作者首先提出了一个观点：当数据维度增加时，去除多视图中的冗余特征非常重要，但目前的多视图学习算法并不能有效的处理高维多视图数据，所以作者提出了一种新的多视图特征选择算法，即Multiview rank minimization-based Lasso (MRM-Lasso)。这篇文章新主要新在提出了为每个样本设置权重的概念，利用样本权重来衡量每个样本对当前视图中标签的贡献。
二、相关工作介绍
1.pattern-specific
多视图中的不同样本具有相异的鉴别能力。如Fig.1.所示，在前两幅图中，View 4比View 1能更好地识别动作‘kick’，这是因为在View 4中有明显的腿部延伸动作特征；但View 1更能识别动作‘wave’。所以在当前视图中最能描述‘kick’和‘wave’动作特征的样本的权重应该最高，其余样本权重应该设置为低。这里作者提出了pattern的概念：
Here, a sample in a particular view is, namely,a pattern. The weights are, namely, pattern-specific weights(or pattern weights).
所有的权重组成一个权重矩阵：
Basically, all pattern-specific weights can be grouped into a pattern weight matrix, where each column represents the pattern weights of a certain view.
并且矩阵满足两个条件：
1) Sparsity: The pattern weight matrix is expected to be sparse in order to weaken the role of less discriminative patterns and enhance the importance of more discriminative patterns.
2) Cross-View Correlation: The pattern weight matrix is expected to be relevant across different columns, since similar patterns have similar pattern-specific weights, and the cross-view correlation can be addressed by analyzing the corresponding relevant patterns across views.
基于以上两个条件，作者提出了在权重矩阵上设置‘低秩’的限制，不仅反映了样本的鉴别能力即稀疏性，又捕获了跨视图间的相关信息。
2.Natations
下面是这篇文章所使用到的一些符号表示：比较基础，略过。
3.Lasso
Lasso是单视角特征选择的常用方法，简单来说就是定义了一个特征选择系数向量，衡量了对应特征的重要性，具体目标函数如下：
本文只涉及到基础的Lasso算法并不涉及其扩展Lasso，例如Group Lasso这些，如果想要了解Lasso算法及其扩展算法的请看这位博主写的文章：https://blog.csdn.net/asd136912/article/details/78401915
三、PROBLEM FPRMULATION:MRM-Lasso
从单视图的Lasso引入到多视图能使用Lasso方法，如何把这些视图组合在一起，就成了问题的关键。作者用了它们各自线性组合的方法来表示类别标签。所以（1）中的拟合项重写为：，其中ε ∈ R 是误差项。但是这个方程是有问题的，它没有衡量视图内及视图间的各个pattern的差异，所以我们在这里引入pattern-specific weights，不然前面的铺垫显得毫无意义
，重写之后的拟合项如下所示：权重wiv表示xvi对label的贡献。所有的权重 {wiv} 组成权重矩阵W ∈ Rm×s ,并且它的每个列向量为，下面的工作就是通过最优化方法求解最优的W and {βv}。
- 基于以上的考虑，于是作者提出了MRM-Lasso的目标函数：跟之前的单视角Lasso相比，多了低秩约束。
四、Optimization Procedures for MRM-Lasso
求解这个目标函数有些复杂，要用到ADMM（交替方向乘子法）算法。为了将（6）的最优化问题转变为ADMM形式，作者引入了一些变量：和非负矩阵：下面就可以将不等式问题转换成等式问题：
(7)这个优化问题和(6)是一致的，只不过形式上稍微变了一下，为了使用ADMM算法，不等式约束转化为了等式约束，并且作者把最后一个约束变成了矩阵的形式：
接下来对（7）的最优化问题用增广拉格朗日乘子法：其中呢，P、Q、R是拉格朗日乘子，再简化一下，去掉多余的变量，即（8）式就是最终的增广拉格朗日形式。
最后呢，根据ADMM算法的流程走，迭代步骤如下：
这样求解就变成了4个独立的最优化问题了，可以分别求解得到：
以上就是分别求解4个最优化问题的具体步骤，具体的求解过程我就不细讲了，简单来说就是化简然后用梯度下降法求解或者SVD分解。
- 本论文的具体算法步骤：
五、分类方法
在经过MRM-Lasso算法之后，获得了每个视图的βv，然后选取具有正值的特征，每个视图用新选择的特征学习一个分类器，然后将这些分类器在测试数据上的预测结果按一下两种方式进行融合：
1）多数投票：统计所有分类器的预测标签，并将占多数投票的标签视为整体预测结果。
2）权重融合：在算法1中得到的权重矩阵W也要用起来对不对
，所以为每个视角计算权重：
那么测试样本的标签为：
六、实验
将在4个数据集上与5个算法进行比较。分类器：SVM和RBF_SVM；评分标准：分类准确率和F1 Score。随机划分数据集，75%用来训练，25%用来测试。
七、总结：
具体而言，本文提出了用于稀疏多视图特征选择的MRM-Lasso方法。 我们的方法涉及三个亮点：1）引入特定于模式的权重来评估模式在特定视图中的重要性; 2）由特定于模式的权重组成的矩阵上的低秩结构被限制为有效地捕捉视图间的相关模式; 3）将套索扩展到多视图场景，以便同时从多视图中选择最具有区别性的特征。 上述特征选择系数和低秩矩阵由ADMM联合学习。
#论文笔记#【MRM-Lasso:A sparse Multiview Feature Selection Method Via Low-Rank Analysis】论文笔记相关推荐
- [翻译论文]A novel embedded min-max approach for feature selection in nonlinear Support Vector Machine cl
[翻译论文]A novel embedded min-max approach for feature selection in nonlinear Support Vector Machine cl ...
- 机器学习 基础理论 学习笔记 （8）特征选择（feature selection）（一）
0.说明 本文也许比较乱,请看目录再食用. 后续会 出文 机器学习 基础理论 学习笔记 (8)特征选择(feature selection)(二) 将 分类问题 和 回归问题 分开总结. 以及或将出文 ...
- 《Rank-LIME: Local Model-Agnostic Feature Attribution for Learning to Rank》论文精读
文章目录 一.论文信息 摘要 二.要解决的问题 现有工作存在的问题 论文给出的方法(Rank-LIME)介绍 贡献 三.前置知识 LIME Feature Attribution Model-Agno ...
- A feature selection method via analysis of relevance, redundancy, and interaction
mutual information feature selection, MIFS:互信息特征选择 Smymetrical uncertainty, SU Fast Correlation-Basd ...
- Feature selection
原文:http://scikit-learn.org/stable/modules/feature_selection.html The classes in the sklearn.feature_ ...
- RFA-Net: Residual feature attention network for fine-grained image inpainting 论文阅读笔记
RFA-Net: Residual feature attention network for fine-grained image inpainting 论文阅读笔记 摘要 尽管大多数使用生成对抗性 ...
- 论文阅读：AF2S3Net:Attentive Feature Fusion with Adaptive Feature Selection for Sparse Semantic
题目:(AF)2-S3Net: Attentive Feature Fusion with Adaptive Feature Selection for Sparse Semantic Segment ...
- ＜论文阅读03＞ Clustering-based multiple instance learning with multi-view feature
文章目录 引入 1 方法概述 2 关键技术 训练阶段 测试阶段 引入 题目:具有多视图特征的基于聚类的多实例学习 (Clustering-based multiple instance learn ...
- 特征选择与稀疏学习（Feature Selection and Sparse Learning）
本博客是针对周志华教授所著<机器学习>的"第11章 特征选择与稀疏学习"部分内容的学习笔记. 在实际使用机器学习算法的过程中,往往在特征选择这一块是一个比较让人模棱两可 ...
最新文章
- android中获取某段程序的执行时间
- 通过使用Byte Buddy，便捷地创建Java Agent
- 计算机社团嘉年华的游戏,社团嘉年华，游戏大乱斗！
- 在Python中将字符串拆分为字符数组
- MAC电脑使用vue-cli脚手架搭建vue项目；mac使用脚手架vue-cli搭建vue项目
- AnimalTFDB 3.0 | 动物转录因子注释和预测的综合资源库
- 古希腊的五大数学巨匠
- 基于TCP的Socket网络编程，有图有代码
- python筛选质数并一行输出五个_python使用filter方法递归筛选法求N以内的质数素数附一行打印心形标记的代码解析...
- Ubuntu E: Sub-process /usr/bin/dpkg returned an error code (1)
- 为什么不算法？常用算法概要大纲！
- 基2FFT算法matlab程序编写,基2时抽8点FFT的matlab实现流程及FFT的内部机理
- arping的使用和原理简介
- rectangle（）函数与rect类详解
- 基础知识 | 贴片电阻快速扫盲
- 星淘惠：我国在国际大变革中迎来国际贸易的发展黄金时期
- 关于win10X64 连接oracle
- MCGS 根据时间实现动态密码进行登陆
- h264 sei信息 解码_关于H264编码数据中SPS,PPS,SEI,IDR等内容的问题
- 芯片的英文手册需要全部看吗？