FW:维度打击,机器学习中的降维算法:ISOMAP MDS_拔剑-浆糊的传说_新浪博客...
维度打击,机器学习中的降维算法:ISOMAP & MDS
http://blog.csdn.net/dark_scope/article/details/53229427
版权声明:本文为博主原创文章,未经博主允许不得转载。
目录(?)[+]
- 流形学习
- ISOMAP
- 经典MDSMultidimensional Scaling
- MDS的例子
- reference
降维是机器学习中很有意思的一部分,很多时候它是无监督的,能够更好地刻画数据,对模型效果提升也有帮助,同时在数据可视化中也有着举足轻重的作用。
一说到降维,大家第一反应总是PCA,基本上每一本讲机器学习的书都会提到PCA,而除此之外其实还有很多很有意思的降维算法,其中就包括isomap,以及isomap中用到的MDS。
ISOMAP是‘流形学习’中的一个经典算法,流形学习贡献了很多降维算法,其中一些与很多机器学习算法也有结合,但上学的时候还看了蛮多的机器学习的书,从来没听说过流形学习的概念,还是在最新的周志华版的《机器学习》里才看到,很有意思,记录分享一下。
流形学习
流形学习应该算是个大课题了,它的基本思想就是在高维空间中发现低维结构。比如这个图:
这些点都处于一个三维空间里,但我们人一看就知道它像一块卷起来的布,图中圈出来的两个点更合理的距离是A中蓝色实线标注的距离,而不是两个点之间的欧式距离(A中蓝色虚线)。
此时如果你要用PCA降维的话,它根本无法发现这样卷曲的结构(因为PCA是典型的线性降维,而图示的结构显然是非线性的),最后的降维结果就会一团乱麻,没法很好的反映点之间的关系。而流形学习在这样的场景就会有很好的效果。
我对流形学习本身也不太熟悉,还是直接说算法吧。
ISOMAP
在降维算法中,一种方式是提供点的坐标进行降维,如PCA;另一种方式是提供点之间的距离矩阵,ISOMAP中用到的MDS(Multidimensional Scaling)就是这样。
在计算距离的时候,最简单的方式自然是计算坐标之间的欧氏距离,但ISOMAP对此进行了改进,就像上面图示一样:
1.通过kNN(k-Nearest Neighbor)找到点的k个最近邻,将它们连接起来构造一张图。
2.通过计算同中各点之间的最短路径,作为点之间的距离dij 放入距离矩阵D
3.将D 传给经典的MDS算法,得到降维后的结果。
ISOMAP本身的核心就在构造点之间的距离,初看时不由得为其拍案叫绝,类似的思想在很多降维算法中都能看到,比如能将超高维数据进行降维可视化的t-SNE。
ISOMAP效果,可以看到选取的最短路径比较好地还原了期望的蓝色实线,用这个数据进行降维会使流形得以保持:
ISOMAP算法步骤可谓清晰明了,所以本文主要着重讲它中间用到的MDS算法,也是很有意思的。
经典MDS(Multidimensional Scaling)
如上文所述,MDS接收的输入是一个距离矩阵D ,我们把一些点画在坐标系里:
如果只告诉一个人这些点之间的距离(假设是欧氏距离),他会丢失那些信息呢?
a.我们对点做平移,点之间的距离是不变的。
b.我们对点做旋转、翻转,点之间的距离是不变的。
所以想要从D 还原到原始数据X 是不可能的,因为只给了距离信息之后本身就丢掉了很多东西,不过不必担心,即使这样我们也可以对数据进行降维。
我们不妨假设:X 是一个n×q 的矩阵,n为样本数,q是原始的维度
计算一个很重要的矩阵B :
可以看到我们通过M 对X 做正交变换并不会影响B 的值,而正交变换刚好就是对数据做旋转、翻转操作的。
所以如果我们想通过B 反算出X ,肯定是没法得到真正的X ,而是它的任意一种正交变换后的结果。
B中每个元素的值为:
计算距离矩阵D ,其中每个元素值为:
\tag{dij_square}\label{dij_square}
这时候我们有的只有D ,如果能通过D 计算出B ,再由B 计算出X ,不就达到效果了吗。
所以思路是:从D->B->X
此时我们要对X加一些限制,前面说过我们平移所有点是不会对距离矩阵造成影响的,所以我们就把数据的中心点平移到原点,对X做如下限制(去中心化):
所以有
类似的
可以看到即B 的任意行(row)之和以及任意列(column)之和都为0了。
设T为B 的trace,则有:
得到B:根据公式 (???) 我们有:
而(根据前面算∑ni=1d2ij ,∑nj=1d2ij 和∑ni=1∑nj=1d2ij 的公式可以得到)
所以
可以看到d2i⋅ 是D2 行均值;d2⋅j 是列均值;d2⋅⋅ 是矩阵的均值。
这样我们就可以通过矩阵D 得到矩阵B 了
因为B是对称的矩阵,所以可以通过特征分解得到:
在最开始我们其实做了一个假设,即D 是由一个n×q 的数据X 生成的,如果事实是这样的,D 会是一个对称实矩阵,此时得到的B 刚好会有q 个非0的特征值,也就是说B 的秩等于q ,如果我们想还原X ,就选择前q 个特征值和特征向量;如果想要达到降维的目的,就选择制定的p 个(p<</span>q )。
此时我们选择前p 个特征值和特征向量,(这一步和PCA里面很类似):
所以有(Λ 是特征值组成的对角矩阵):
因此
如果选择p=q 的话,此时得到的X∗ 就是原数据去中心化并做了某种正交变换后的值了。
MDS的例子
举个例子:拿美国一些大城市之间的距离作为矩阵传进去,简单写一写代码:
import numpy as np
import matplotlib.pyplot as pltdef mds(D,q):D = np.asarray(D)DSquare = D**2totalMean = np.mean(DSquare)columnMean = np.mean(DSquare, axis = 0)rowMean = np.mean(DSquare, axis = 1)B = np.zeros(DSquare.shape)for i in range(B.shape[0]):for j in range(B.shape[1]):B[i][j] = -0.5*(DSquare[i][j] - rowMean[i] - columnMean[j]+totalMean)eigVal,eigVec = np.linalg.eig(B)X = np.dot(eigVec[:,:q],np.sqrt(np.diag(eigVal[:q])))return XD = [[0,587,1212,701,1936,604,748,2139,2182,543],
[587,0,920,940,1745,1188,713,1858,1737,597],
[1212,920,0,879,831,1726,1631,949,1021,1494],
[701,940,879,0,1374,968,1420,1645,1891,1220],
[1936,1745,831,1374,0,2339,2451,347,959,2300],
[604,1188,1726,968,2339,0,1092,2594,2734,923],
[748,713,1631,1420,2451,1092,0,2571,2408,205],
[2139,1858,949,1645,347,2594,2571,0,678,2442],
[2182,1737,1021,1891,959,2734,2408,678,0,2329],
[543,597,1494,1220,2300,923,205,2442,2329,0]]label = ['Atlanta','Chicago','Denver','Houston','Los Angeles','Miami','New York','San Francisco','Seattle','Washington, DC']
X = mds(D,2)
plt.plot(X[:,0],X[:,1],'o')
for i in range(X.shape[0]):plt.text(X[i,0]+25,X[i,1]-15,label[i])
plt.show()
最后画出来的图中,各个城市的位置和真实世界中的相对位置都差不多:
注意,这个例子中其实也有‘流形’在里面,因为我们的地球其实是一个三维,而城市间距离刻画的是在球面上的距离,所以最后如果你去看求出来的特征值,并不像前面说的那样只有q个非0的值。
reference
- 一个nthu的课程,除了pdf还有视频,本文绝大多数关于MDS的内容都是从这里整理的:http://101.96.10.65/www.stat.nthu.edu.tw/~swcheng/Teaching/stat5191/lecture/06_MDS.pdf
- 一个MDS的例子,用于数据可视化,例子的数据来源于这里。http://www.benfrederickson.com/multidimensional-scaling/
- 周志华《机器学习》
FW:维度打击,机器学习中的降维算法:ISOMAP MDS_拔剑-浆糊的传说_新浪博客...相关推荐
- FW:行人检测简述_拔剑-浆糊的传说_新浪博客
行人检测简述 http://blog.csdn.net/carson2005/article/details/8316835 分类: CV相关2012-12-18 23:32 248人阅读 评论(2) ...
- 图像处理-机器学习一些科普材料汇集 - 持续更新中_拔剑-浆糊的传说_新浪博客...
图像处理-机器学习-SLAM基础知识汇集(更新中) --by zxg519 at sina.com 1.适用于机器学习的矩阵求导推导技巧 1.矩阵求导术(上)-- 非常好 https://zhuanl ...
- FW:卷积神经网络大总结_拔剑-浆糊的传说_新浪博客
http://blog.csdn.net/zyazky/article/details/53108346 卷积神经网络大总结 标签: 深度学习卷积神经网络 2016-11-10 00:03 303人阅 ...
- FW:图像处理与计算机视觉 基础、经典以及最近发展_拔剑-浆糊的传说_新浪博客...
图像处理与计算机视觉 基础.经典以及最近发展 http://blog.csdn.net/liuyue2046/article/details/12658441 http://www.iask.sina ...
- 计算机视觉、机器学习相关领域论文和源代码大集合_拔剑-浆糊的传说_新浪博客...
http://blog.csdn.net/zouxy09/article/details/8550952 顶] 计算机视觉.机器学习相关领域论文和源代码大集合--持续更新-- 计算机视觉.机器学习相关 ...
- FW:2013年SCI收录仪器仪表期刊56种目录_拔剑-浆糊的传说_新浪博客
2013年SCI收录仪器仪表期刊56种目录 已有 738 次阅读 2013-11-10 15:21 |个人分类:SCI投稿|系统分类:科研笔记|关键词:SCI投稿,仪表,仪器,期刊, 2013年SCI ...
- FW:平凡(trivial)和非平凡(non-trivial)_拔剑-浆糊的传说_新浪博客
1. 平凡(trivial)就是指最简单的情形,或者说是容易证明的.容易看到的.比如平凡群是只有一个元素的群,这是最简单的群的例子,也是"没什么意思"的群. 非平凡(non ...
- FW:十大开源游戏引擎深入比较_拔剑-浆糊的传说_新浪博客
http://book.2cto.com/201301/15170.html 在国内外,业界盛传有十大开源游戏引擎,分别是OGRE.Irrlicht.Panda3D.Crystal Space.jME ...
- FW: 男人必看必看的十部经典电影_拔剑-浆糊的传说_新浪博客
男人必看必看的十部经典电影[收藏] http://you.video.sina.com.cn/a/1498956-1342237005.html
- [转载]如何让上传到新浪博客和相册中的照片更大更清晰_我是亲民_新浪博客
原文地址:如何让上传到新浪博客和相册中的照片更大更清晰作者:李永宏 如何让上传到新浪博客和相册中的照片更大更清晰 图.文 李永宏 以前有朋友问我,怎么你上传到博客里的照片看起来不是很清晰,你用什么相机 ...
最新文章
- pythoninterpolate用法_Pytorch上下采样函数--interpolate用法
- 神经网络-常用激活函数
- P4281 [AHOI2008]紧急集合 / 聚会
- fileinputstream自定义类序列化和反序列化_Rest Assured篇:Java中的序列化和反序列化...
- python【数据结构与算法】PriorityQueue and Huffuman树
- C++中int与string的相互转换
- java元婴期(18)----java进阶(spring(2)----DI(依赖注入)基于注解的IOC与DI配置properties)
- CALL TRANSACTION 小节
- Android如何给通知channel静音
- ABAP SAPGUI 里使用 F4 value help 选择时间
- 解决pom文件第一行报错(unknown)-亲测有效
- 【模板】快速排序(洛谷-P1177)
- python/socket编程之粘包
- Linux Socket C语言网络编程:Select Socket
- python == 字符编码
- 在anaconda python开发套件下进行opencv的安装
- 读取json本地js处理输出html,JavaScript 通过浏览器导出和读取本地 JSON 文件
- php 模拟登陆微信,微信公众平台模拟登陆有关问题
- Git中HEAD和ORIG_HEAD指针指的是什么
- 运筹系列63:使用ALNS求解大规模TSP问题