流形结构、流形学习、图嵌入

PCA、 MNF 和 LDA 等方法是以统计学原理为基础，并根据统计学的某一优化准则，构建一个最佳模型，属于线性特征提取方法。此类方法的优点是模型确定、易于理解、处理方便和扩展性好等，但忽略了数据的空间分布，不能揭示出数据的内在结构特征。

2005 年， Bachmann 等[77]学者研究发现高光谱数据中存在非线性结构，主要是由于高光谱图像成像时受不同时间的大气环境、不同反射率和光照、地物组成成分变化等影响，使同类地物光谱曲线存在差异，表现出非线性结构。

研究表明在非线性的高维数据中具有内在低维结构，即流形结构

一言以蔽之， 流形结构必须满足高维数据+非线性

流形学习方法是一种能发现非线性数据内在流形结构的有效方法

经典方法有局部线性嵌入(Local Linear Embedding, LLE)[78]、 等距映射(Isometric Feature Mapping, ISOMAP)[79]、拉普拉斯特征映射(Laplacian Eigenmaps, LE)[80]和局部切空间排列(Local Tangent Space Alignment, LTSA)[81]等。
LLE 是在 2000 年 Roweis 等[78]学者提出，在低维空间中保持数据的局部线性组合结构不变；同年 Tenenbaum 等[79]提出 ISOMAP，通过测地距离代替MDS算法中的欧氏距离来表征数据的分布关系；LE 是在 2003 年由 Belkin 等[80]提出，通过拉普拉斯图来表示数据的邻域相似关系，并在低维空间中保持数据间的相似性不变； 2004 年，张振跃等[81]提出 LTSA 算法，通过由邻域点的低维仿射子空间组成的切空间来表征数据的局部结构，揭示出数据的切空间流形。 LLE、 ISOMAP、 LE 和 LTSA 都属于流形学习研究的代表性文献，在流形学习领域具有划时代的意义，但这几种算法都是非线性特征提取方法，从高维空间到低维空间没有明确的映射关系，无法直接处理新样本。

为解决 LLE、 LE 和 LTSA 算法在处理新样本时的不足， He 等分别提出邻域保持嵌入(Neighborhood Preserving Embedding, NPE)[82]和局部保持投影(LocalityPreserving Projection, LPP)[83]来线性逼近 LLE 和 LE；
Zhang 等[84]提出 LTSA 的近似线性方法，即线性局部切空间排列(Linear LTSA, LLTSA)。在高光谱图像流形结构的研究中， Bachmann 等[77]利用 ISOMAP 算法揭示出高光谱图像的内在流形结构； Chen 等[85]应用 ISOMAP 中测地距离的概念，提出一种非线性流形的高光谱图像地物分类方法；杜培军等[86]结合光谱角、光谱信息散度和测地距离来改进 ISOMAP，并用于高光谱图像的特征提取； Qian 等[87]融合 LLE
和 LE 来得到高光谱图像的特征，同时改善了 LLE 和 LE 算法的性能； Ma 等[88]利用 LTSA 对高光谱图像进行异常检测；孙伟伟等[89]提出多策略提升 LTSA 方法，利用随机映射来降低计算复杂度，然后由递归兰索斯切分算法来构建近似 k 近邻，提升了 LTSA 的计算速度和高光谱图像的分类精度； Wang 和 He[90]利用 LPP 来获取高光谱图像的特征，改善了支持向量机的分类结果；魏峰等[91]提出一种空间一致性 NPE，利用高光谱图像空间块之间的相似性来选取数据的邻域，得到更优的低维空间，实现特征提取；杜博等[92]提出一种鉴别流形学习方法，同时利用光谱信息和空间信息来得到高光谱图像的特征。

为更好地理解 PCA、 LDA、 ISOMAP、 LE、 LLE、 LPP 和 NPE 等算法，颜水成等[93]于 2007 年在统计或几何理论的基础上提出一种图嵌入(Graph Embedding,GE)框架，可用于理解原有特征提取算法或构建新的特征提取算法。在图嵌入中，构建一个本征图用于描述数据中有价值的统计或几何特征，同时构建一个惩罚图用于描述数据中需要抑制的统计或几何特征；
本征图和惩罚图的构建可扩展到线性空间、核空间和张量空间。

许多起源于统计或几何理论的算法经过改写后都可以统一到图嵌入框架下，主要区别在于本征图和惩罚图的构建方式不同。在高光谱图像的特征提取中，基于统计特性构建的图不能揭示出数据的内在结构，对于非线性数据不能得到好的效果，而基于几何理论构建的图能很好地揭示出数据的内在流形结构，提取出有效的鉴别特征，改善分类精度。目前，数据的几何特性大部分都采用邻域关系来表征，如 k 近邻法或ε 近邻法，然而，如何有效地定义邻域选取方式和邻域大小是这类方法面临的一大挑战。

摘自：

流形结构、流形学习、图嵌入相关推荐

深入理解深度学习——图嵌入（Graph Embedding）
分类目录:<深入理解深度学习>总目录前面的文章介绍了由Word Embedding延伸出的Item Embedding等,这些延伸都建立在它们有序列特性的基础上.其实,可延伸的领域还有很 ...
【推荐算法】Graph Embedding——引入更多结构信息的图嵌入技术
在互联网背景下,数据对象之间更多的是以图结构的方式呈现的,典型的例子就是由用户行为序列产生的物品关系图,以及由属性和实体之间组成的知识图谱(knowledge graph).在面对图结构时候,传统的序 ...
ICLR20 | GraphZoom：可缩放图嵌入
今天给大家介绍康奈尔大学和密西根理工大学发表在ICLR2020上的一篇论文,该论文指出:现有图嵌入模型在训练期间不能很好的合并节点属性信息,模型可能会受到节点属性噪声的干扰,而且由于图嵌入模型的高计 ...
知识图谱顶会论文(SIGIR-2022) MorsE：归纳知识图嵌入的元知识迁移
MorsE:归纳知识图嵌入的元知识迁移论文题目: Meta-Knowledge Transfer for Inductive Knowledge Graph Embedding 论文地址: http ...
知识表示学习与图嵌入综述
文章目录一.任务的介绍与背景 1.1 表示空间 1.2 打分函数 1.3 编码模型 1.4 结合辅助信息 1.5 图表示学习二.典型方法三.各方法综述和性能比较 3.1 基于矩阵特征向量计算 3 ...
SDNE: 阿里应用深度学习进行图嵌入，构造凑单算法模型
本文介绍 Structural Deep Network Embedding ,以下简称 SDNE,以半监督的方式用深度神经网络来做图嵌入. 模型解读论文指出学习网络表示具有三大难点: 高度非线性: ...
论文浅尝 | 基于正交普鲁克分析的高效知识图嵌入学习
笔记整理:朱渝珊,浙江大学在读博士,研究方向为快速知识图谱的表示学习,多模态知识图谱. 1.Motivation 知识图谱是许多NLP任务和下游应用的核心,如问答.对话代理.搜索引擎和推荐系统.知识图 ...
【CS224W】(task4/5)图嵌入表示学习（Deepwalk、Node2vec）更新中
note Node embedding的基本框架:encoder+decoder 最简单encoder是embedding-lookup表:ENC(v)=zv=Z⋅v\mathrm{ENC}(v)=z ...
【GNN】图嵌入之 DeepWalk：基于社交表征的在线学习算法
论文名称:DeepWalk: Online Learning of Social Representations 论文下载:https://arxiv.org/abs/1403.6652 论文年份:S ...

流形结构、流形学习、图嵌入

流形结构、流形学习、图嵌入相关推荐

最新文章

热门文章