乘法更新规则对于并发的非负矩阵分解和最大间隔分类

摘要：使用非负矩阵分解的分类方法，使用两个连贯的独立步骤，第一个是完成数据转变（降维），第二个使用分类方法分类转变后的数据，例如最近邻/中心或者支持向量机。接下来我们关注在使用NMF接着SVM分类。这两步骤的参数，也就是NMF基/相关系数和支持向量都是独立优化的，这样导致一个自由化分类表现。在本文汇总，合并两个步骤到一个通过合并最大间隔分类约束到标准的NMF优化中。在提出的框架后面的概念是去完成非负矩阵分解，同时确保两类别之间的投影数据之间的间隔最大。并发 NMF分解和支持向量优化通过一系列乘法更新规则来优化。在相同内容中，最大间隔分类约束被加到NMF问题使用额外的判别约束和各自的乘法更新规则被提取。最大间隔分类约束在NMF分解问题上的影响被解决。
1简介
（NMF部分先不谈）在原始数据完成NMF之后，分类方法例如SVM可以应用到投影数据上。SVM找到在高维投影空间中的超平面，该超平面具有最大距离到最近的每个类别的投影数据。这个超平面称为最大间隔超平面。SVM是最大间隔分类器。在NMF例子中，SVM优化一个目标函数在具体的约束下。在线性分类的例子中，SVM的方程优化问题仅仅取决于数据的点乘。通过应用核技巧，数据被投影到一个转化后的特征空间和点积被一个非线性核函数取代。最大间隔超平面在特征空间仍然是线性的，但是构成一个非线性平面在原始数据空间。因此完成非线性数据分类。SVM分类器的支持向量的个数通过可分离case 近似(separable case approximation)SCA算法减少。SCA首先计算Vapnik’s SVM解在训练数据。然后训练数据被修改以便于可分离。最后SVM在修正后的训练数据上重新计算。并且SVM结合独立成分分析（ICA）为了完成降温工作。
有两种方式选择分类模型。In-sample 和out-of-sample 。 In-sample 方法对于模型选择和误差估计使用相同的数据，然而out-of sample 方法使用两个分离的数据集对于训练和验证分类模型。分类模型的大部分是基于out-of-sample方法选择的。在【11】引入了两个in-sample方法对于模型选择和SVM误差估计，基于数据以来的结构风险最小（SRM），好过out-of-sample 方法，其只有一小部分数据是可用的。
在本文我们解决数据表达的问题和分类优化问题到一个新的统一的框架，也就是我们的目标是找到NMF数据投影并且最大化SVM分类器分类精度。更精确的，我们结合NMF优化问题和SVM优化的对偶公式到一个单目标函数，在非负约束和系数矩阵和SVM的拉格朗日乘子。使用一个辅助函数并最小，对于NMF基核系数使用乘法更新法则，SVM的拉格朗日乘子被提出。进一步，我们增加判别式NMF（DNMF）的Fisher约束，得到更好的分类结果。
2相关工作
一些NMF修正存在，合并一些额外约束到NMF初始问题，为了增强判别能力。在DNMF中，增加Fisher约束到原NMF损失函数中。Fisher约束最大化平均类别值之间的距离，并最小化数据投影到降维空间后的类别松散度。在脸部表情识别数据集上的实验显示由DNMF产生的基图片组成基于部分表达的人脸，更好的对应了直觉上脸部地区的概念，例如嘴唇，眉毛。在【13】中引入了Fisher约束称为Fisher NMF(FNMF)。在【14】主成分分析约束，例如最大化稀疏矩阵方差，增加到NMF公式中，生成PCA-NMF（PNMF），类似FNMF和DNMF算法，应用到脸部图像，PNMF基图像可以被解读为对应脸部区域。在【15】原始数据矩阵X 首先被映射到一个更高阶再生希尔伯特空间通过一个非线性多项式核转换Φ(⋅)\Phi(\cdot),然后NMF被应用到生成的特征空间。产生的多项式核NMF的新的代价函数

||Φ(X)−ZH||2F

||\Phi(X) - ZH||_F^2
这种方式，基图像的非负约束和系数被维持对于有非线性依赖的特征来说。
没有使用乘法更新规则，NMF损失函数最小化也可能通过利用投影梯度方法实现。投影梯度方法对于NMF问题首先在【16】中使用。在【17】，投影梯度被用来解DNMF的问题，具有一些不同，不去使用Fisher约束到投影稀疏矩阵H，而是被应用到基矩阵Z，通过 ZTXZ^TX来代替H。投影梯度也被使用在【18】

乘法更新规则对于并发的非负矩阵分解和最大间隔分类相关推荐

Non-Negative Matrix Factorization 非负矩阵分解（NMF）
Non-Negative Matrix Factorization 非负矩阵分解(NMF) 简介及基本思想 1999年由D.D.Lee和H.S.Seung提出的新的矩阵分解思想,在矩阵中所有元素均为非 ...
推荐算法——非负矩阵分解(NMF)
1. 矩阵分解回顾在博文推荐算法--基于矩阵分解的推荐算法中,提到了将用户-商品矩阵进行分解,从而实现对未打分项进行打分.矩阵分解是指将一个矩阵分解成两个或者多个矩阵的乘积.对于上述的用户-商品矩阵 ...
nmf算法 python_非负矩阵分解（NMF）及一个小实例
最近在做一道题,题目的要求如下图,其中如2-digits这张图,图中每两个数字构成一个子图(横着看,比如第一行为41,43,42,14,12,14,23,41),对应的右图为左图的一个主成分元素,即2 ...
大数据聚类分析用于预测_多模态数据中的非负矩阵分解用于分割和标签预测
引用 Akata Z, Thurau C, Bauckhage C. Non-negative matrix factorization in multimodality data for segme ...
推荐系统笔记：基于非负矩阵分解的协同过滤
1 非负矩阵分解非负矩阵分解 (NMF) 可用于非负的评级矩阵. 这种方法的主要优势不一定是准确性,而是它在理解用户-项目交互方面提供的高度可解释性. 与其他形式的矩阵分解的主要区别在于因子 U 和 ...
机器学习新论文推荐-（成对关系约束的非负矩阵分解）
徐亦达老师团队新发了一篇论文-Relative Pairwise Relationship Constrained Non-negative Matrix Factorisation(成对关系约束的非 ...
非负矩阵分解NMF(1): 非调包python实现
文章目录 1. 矩阵分解(Matrix Factorization): 1.1 公式推导 1.2 代码实现 1.3 在图像数据下的效果 2. 非负矩阵分解(Non-negative Matrix Fa ...
MDIPA:基于非负矩阵分解的MicroRNA-药物相互作用预测方法
MDIPA:基于非负矩阵分解的MicroRNA-药物相互作用预测方法摘要一.简介二.方法 2.1 数据集 2.2 鉴定-药物相互作用 2.3 microRNA与药物的邻域信息 2.4 非负矩阵分 ...
期末周总结-矩阵理论-非负矩阵分解
矩阵理论结课作业主要介绍了非负矩阵分解,同时基于非负矩阵分解讲了两个实例. 非负矩阵分解(Non-negative matrix factorization, NMF)是一种常用的矩阵分解方法.对于一 ...

乘法更新规则对于并发的非负矩阵分解和最大间隔分类

乘法更新规则对于并发的非负矩阵分解和最大间隔分类相关推荐

最新文章

热门文章