重新解读协方差以及EVD/SVD

  这两天摸索随机森林做图像识别,对oob进行解读时,重新对线性代数进行梳理,发现了大家对矩阵性质的有趣解读,通俗易懂,我再次感受到数学的优美.

1: 一维协方差:

cov(X,Y) = E( ( x - E(X) ) ( y - E(Y) ) )

描述了变量之间的同/反向变化关系,
对于A和B单维变量,

如果A离散程度增大,B的离散程度也倾向于同时增大,
cov(A,B) < 0;
如果A离散程度增大,B的离散程度倾向于减小,
cov(A,B) > 0
如果B不随A的变化而变化,
cov(A,B) = 0

BTW,协方差矩阵的意义与之相同,注意协方差矩阵由 1 * 1 引向了N * N.

对协方差的解释:
https://www.zhihu.com/question/20852004

2: 变换矩阵

变换矩阵的作用:

由于矩阵自身的可加性,变换矩阵作用于向量上,实际上是对向量作多种方向的组合拉伸缩放的叠加.

再根据特征值求取特征向量,最终的变换结果是特征向量与特征值乘积的组合.

根据这个特点,我们可以应用到数据处理的降维上,做EVD分解或SVD分解.

举例:

假设:
我由一组照片,分辨率都是420 * 640,用来做图像识别,
但是:
我想缩减网络大小，首先是从输入入手，简单的缩减无非是进行线性的降采样，然而，这样常常是滤不掉干扰，该有的干扰还是存在。实际上用主成分分析方法，可以有效的进行输入维度的减少，同时保证信息的衰减是可控的。降维的过程，保证维度间的相关性小进行去噪，我们希望获得各个维度上的信息都是独立的，放弃样本方差小的冗余信息，因为对于区分样本起不到任何作用。理论是如此，实验证明也是如此。我曾在同一个网络上做分类实验，320×320降到80×1和40×1，降维和不降维的最终准确率上限是一致的。而且降维后loss的衰减大大加快，单步迭代时间加快了近10倍。
当然:
EVD以耗费内存为代价,采用SVD会更好,这里采用EVD/SVD也是大才小用.SVD在数据存储上有更多更大的用处.后续跟进中…

2017.10.14.night
4th Saturday of Junior
wonderseen.

重新解读协方差以及EVD/SVD相关推荐

500篇干货解读人工智能新时代
500篇干货解读人工智能新时代本文主要目的是为了分享一些机器学习以及深度学习的资料供大家参考学习,整理了大约500份国内外优秀的材料文章,打破一些学习人工智能领域没头绪同学的学习禁锢,希望看到文章的 ...
[转]机器学习和深度学习资料汇总【01】
本文转自:http://blog.csdn.net/sinat_34707539/article/details/52105681 <Brief History of Machine Learn ...
深度学习第一次课-数学
说明:本文是七月算法5月深度学习班第一次课听课笔记.只记录关键知识点,有些没具体展开.帮助复习用.文中使用了老师课件中的公式. 微积分导数定义常用函数导数导数法则加法乘法除法链式 ...
机器学习相关资料推荐 http://blog.csdn.net/jiandanjinxin/article/details/51130271
机器学习(Machine Learning)&深度学习(Deep Learning)资料标签: 机器学习 2016-04-12 09:16 115人阅读评论(0) 收藏举报分类: 机器 ...
【github】机器学习(Machine Learning)深度学习(Deep Learning)资料
转自:https://github.com/ty4z2008/Qix/blob/master/dl.md# <Brief History of Machine Learning> 介绍:这 ...
机器学习(Machine Learning)深度学习(Deep Learning)资料汇总
本文来源:https://github.com/ty4z2008/Qix/blob/master/dl.md 机器学习(Machine Learning)&深度学习(Deep Learning ...
机器学习----(Machine Learning)深度学习(Deep Learning)资料(Chapter 1)
文章转至:作者:yf210yf 感谢您提供的资源资料汇总的很多,转载一下也方便自己以后慢慢学习注:机器学习资料篇目一共500条,篇目二开始更新希望转载的朋友,你可以不用联系我．但是一定要保留原 ...
机器学习部分书籍推荐
先说一下我看过的和正在看的一些书吧! <数学之美>:作者吴军大家都很熟悉.这本书主要的作用是引起了我对机器学习和自然语言处理的兴趣.里面以极为通俗的语言讲述了数学在这两个领域的应用. ...
机器学习(Machine Learning)深度学习(Deep Learning)资料集合
机器学习(Machine Learning)&深度学习(Deep Learning)资料原文链接:https://github.com/ty4z2008/Qix/blob/master/dl ...

重新解读协方差以及EVD/SVD

重新解读协方差以及EVD/SVD相关推荐

最新文章

热门文章