0、前言

降维是计算机视觉、模式识别、机器学习等领域常见的数据分析和处理方法。在人脸识别、数据可视化等领域，通常需要从高维数据中提取有效的低维特征，以方便数据分析和处理。

降维算法主要包括线性降维算法和非线性降维算法。线性降维算法最典型的包括：主成分分析(Principal Component Analysis，PCA)和线性判别分析(Linear Discriminant Analysis,LDA)。PCA 是一种无监督的降维算法，其核心思想是找到一组正交基，将高维数据映射到低维空间，使降维后的数据方差最大，从而达到尽可能多的保留原始高维数据的信息。LDA 是一种监督的降维算法，其目标是寻找一组最优投影向量来最大化类间散度矩阵和类内散度矩阵之间的比值，使得同一类数据尽可能聚集在一起，不同类数据尽可能分开。

但是这两种算法都旨在保留原始高维数据的全局欧氏结构，并不能挖掘到原始高维数据的局部流形特征。因此，众多基于流形学习的非线性降维算法被广泛研究。

典型的算法有：邻域保持嵌入（ Neighborhood PreservingEmbedding ， NPE ）和局部保留投影（Locality Preserving Projection，LPP），此类算法都通过线性嵌入来保留数据的局部流形特征，给出了高维数据到低维数据的映射关系，但仅通过保留原始高维数据的局部流形特征，并不能很好地表征原始高维数据的可分性。于是，基于图嵌入的降维算法——边界 Fisher 分析(Marginal Fisher Analysis,MFA)、局部敏感判别分析(Locality Sensitive Discriminant Analysis ，LSDA)、判别最大化边界投影(Discriminant Maximum Margin Projections，DMMP)，相继被提出。

1、MFA理论

MFA通过边界Fisher准则寻找最佳投影方向：目标函数如下

其中：

同类近邻连接权重矩阵：，根据该矩阵构造本征图

异类近邻连接权重矩阵：，根据该矩阵构造惩罚图

图1 MFA边界点分析图

结合MFA目标函数和边界点示意图，可以看出MFA旨在找到一个投影，使得同类近邻样本更加紧凑（即目标函数分母更小）和异类近邻样本间距离即异类边界点更远（目标函数分子更大）。以最大化目标函数为目标得到投影矩阵A。

2、理论优缺点分析

2.1 优点

如上述所说，在流形学习基础上，考虑边界的问题

2.2 可能存在的不足

①首先这是一种线性映射，不能增加原有数据集的信息（只可能减少原有数据集的信息）即不可能超越原有数据集具有的区分能力，线性降维只是实现用尽可能少的特征去逼近原始数据包含的所有信息（有用或者干扰信息），当然如果能保持有用信息剔除干扰信息更好。

②MFA对于边界较为清晰或者是异类样本重合度不够高的数据空间应该是有效的，可以想象图1中两类样本点完全杂乱无章融合在一起，这时候样本的异类边界和同类边界也完全融合在一起（目标点与其同类样本和异类样本的连接权重接近），根据目标函数，很难找到一组映射使得分子大而分母小。这个时候取得的映射矩阵并不能达到我们想要的效果（当然这种情况下任何线性方法都不一定能做到）。

③MFA选择的异类边界点与同类边界点之间没有直接的关联（都是独立寻找，并建立权重矩阵），我们为了两类样本尽可能分开，理想情况肯定是异类边界点与同类边界点尽可能分离，即应该将这两种边界点建立一种联系。

2.3 改进方向：

根据上述分析改进点如下：

①非线性化

②非线性基础上如何进一步改进样本间权重计算方法，避免权重接近情况

③异类边界和同类边界关联化，即本征图和惩罚图的构建不应该独立无关

④其他

3、MFA实现效果

基于相同的数据集，将MFA与PCA、LPP、LE、NPE这几种特征提取方法进行对比分析，结果如下：

基于图嵌入的降维算法——边界Fisher分析（MFA）相关推荐

基于图嵌入的兵棋联合作战态势实体知识表示学习方法
基于图嵌入的兵棋联合作战态势实体知识表示学习方法人工智能技术与咨询来源:<指挥控制与仿真>,作者王保魁等摘要:为将基于离散符号的兵棋联合作战态势实体知识表示为机器更加容易学习.处理 ...
【推荐系统】基于图嵌入技术的推荐系统长文综述
|作者:邓月 | 单位:电子科技大学 | 研究方向:图嵌入技术.推荐系统近几年,基于图嵌入技术的推荐系统已成为一个热门的研究焦点,并将随着图嵌入技术的不断发展而持续.近日发布的<基于图嵌入技术 ...
基于图的异常检测算法——概述
正在调研基于图的异常检测算法,先出个概述,后面再慢慢填坑基于图的异常检测给定一个图数据库,找到其中罕见不同于其他数据对象的点/边/子结构静态图的异常检测普通静态图基于结构基于特征:利用图结 ...
边界Fisher分析（MFA）及其非线性改进核边界Fisher分析（KMFA）的验证对比
0.前言前期博文讲述了MFA相关理论及其可以改进的点,本期文章对MFA进行非线性改进,提出核边界Fisher分析(KMFA)方法,并将MFA与KMFA在相同数据集上进行验证对比分析.MFA理论介绍见 ...
【图的着色问题】算法设计与分析实验1
计算机科学与工程学院实验报告课程名称算法设计与分析班级实验内容实验1:图的着色问题指导教师姓名重剑DS 学号实验日期 2022.04.28 一.问题描述,含输入.输出数据内容.格式 ...
基于图卷积神经网络的微博疫情情感分析
一.前言参考论文:Graph Convolutional Networks for Text Classification 官方Github源码:text_gcn 关于微博疫情情感分析,博主之前有过 ...
经典线性降维算法—独立成分分析(ICA)
虽然很多时候A矩阵是n*n的,但是如果n取k(k<n),那么该方法就符合线性降维的一般模型,因此它可以看作一种线性降维算法. ICA算法的实现步骤: 白化处理步骤:
Python实现基于图神经网络的异构图表示学习和推荐算法研究
资源下载地址:https://download.csdn.net/download/sheziqiong/85978304 资源下载地址:https://download.csdn.net/downl ...
SIGIR 2019 开源论文 | 基于图神经网络的协同过滤算法
作者丨纪厚业单位丨北京邮电大学博士生研究方向丨异质图神经网络,异质图表示学习和推荐系统引言协同过滤作为一种经典的推荐算法在推荐领域有举足轻重的地位.协同过滤(collaborative fil ...

基于图嵌入的降维算法——边界Fisher分析（MFA）