1.为什么要数据降维？

海量数据太大，不得不降维
可以使简单的模型运算的更快，更容易理解，更容易维护
优质的降维数据可以在使用不是最优的模型参数的情况下得到不错的预测结果

2.为什么能数据降维？

可以假设，数据实际上是存在或者靠近一个低维子空间中，子空间的坐标轴能够有效地表达这个数据。

可以复习下矩阵的秩

第三行可以用第一行减去第二行得到，因此第三行就可以变换为0，秩就为2。

3.SVD（奇异值分解）

将矩阵A变为三个矩阵相乘，下图表示出来更加形象。

SVD的性质

对于一个用户看电影的例子来说：

U：用户-主题的相似矩阵，
T：电影主题的相似矩阵，
∑：其对角元素是每一个主题的强度

4.SVD进行降维

SVD怎么进行降维？能够精确到什么程度？
把 ∑ 中最小的奇异值设为0。

弗罗宾尼斯范数就是表示的两个矩阵的差值的大小。

会发现SVD和PCA的推导很相似

5.SVD降维的特点

奇异向量：每一个奇异向量是所有输入矩阵的行向量或列向量的线性组合
奇异向量是稠密的

6.CUR分解

SVD与CUR对比

海量高维数据与纬度约减相关推荐

余弦相似度高维数据_海量高维数据与近似最近邻
在实际工程当中,我们常常会遇到海量的数据,那作为一个数据挖掘准从业人员,如何从海量的数据当中挖掘出他们数据之间的关系和规律就显得尤为重要了. 今天我要讲的时海量高维数据及其近似最近邻方案. K-近邻算 ...
高维数据降维国家自然科学基金项目 2009-2013 NSFC Dimensionality Reduction
2013 基于数据降维和压缩感知的图像哈希理论与方法唐振军广西师范大学多元时间序列数据挖掘中的特征表示和相似性度量方法研究李海林华侨大学基于标签和多特征融合的图像语义空间学习技 ...
【NumPy】NumPy约减的轴的方向
文章目录约减约减方向(垂直.水平) 求和其他函数完整代码约减约减:表示将众多数据按照某种规则合并成一个或几个数据. 约减之后,数据的个数在总量上是减少的. 在这里,"约减&quo ...
NKCorpus：利用海量网络数据构建大型高质量中文数据集
摘要 [目的]大规模.高质量的中文数据集对于大型中文预训练语言模型及其他自然语言处理模型的训练至关重要,因此需要设计并完善一种可以构建大规模中文数据集的框架.[方法]利用语言提取.文本清洗.数据去重等 ...
机器学习：维数约减算法PCA（主成分分析法）原理、实现与应用
文章目录算法目标预处理算法过程逆过程主成分数kkk的选取应用算法目标 PCA的目标就是实现维数约减,即在尽可能保留信息的同时减少数据的维度.通过维数约减,我们可以实现数据压缩节省存储空间 ...
Coursera机器学习(Andrew Ng)笔记：无监督学习与维度约减
无监督学习与维度约减机器学习初学者,原本是写来自己看的,写的比较随意.难免有错误,还请大家批评指正!对其中不清楚的地方可以留言,我会及时更正修改 Unsupervised learning & ...
基于Hash算法的高维数据的最近邻检索
一.摘要最紧邻检索:一种树基于树结构,一种是基于hash a.随机投影算法,需要产生很多哈希表,才能提高性能. b.基于学习的哈希算法在哈希编码较短时候性能不错,但是增加编码长度并不能显著提高性能. ...
基于云上分布式NoSQL的海量气象数据存储和查询方案
前言气象数据是一类典型的大数据,具有数据量大.时效性高.数据种类丰富等特点.气象数据中大量的数据是时空数据,记录了时间和空间范围内各个点的各个物理量的观测量或者模拟量,每天产生的数据量常在几十TB到 ...
基于HBase+ ElasticSearch的海量交通数据实时存取方案设计
董长青,任女尔,张庆余,田玉靖北京卡达克数据技术中心软件业务本部,天津 300300 摘要:交通流数据具有数据海量.存储和交互速率快等特征,因此其数据的采集.存储及检索成为了车辆远程监控平台中的关键 ...
BMap添加海量点数据，BMap.Point携带数据
在开发web项目的过程中使用到了百度地图,由于要在地图中画出很多点比较影响加载速度,查看官方文档,发现有提供加载海量点的功能BMap.PointCollection,用这个加快速度,但是官方文档中提供 ...

海量高维数据与纬度约减

文章目录