机器学习笔记（十三）：降维

2024-05-11 17:03:11

目录

1）Motivation 1:Data Compression

2）Motivation 2: Data Visualization

3）Principal Component Analysis problem formulation

4）Principal Component Analysis algorithm

5）Advice for applying PCA

1）Motivation 1:Data Compression

无监督学习第二个算法：降维，降维有两个目的：1是数据压缩，2是可视化，数据压缩就是减少特征。工业中我们常常会碰到上万的特征，这是我们就需要压缩数据，找出其中重要的特征。下面是3维压缩为2维的例子：

2）Motivation 2: Data Visualization

能将数据可视化的话对我们处理问题很有帮助，下面是关于几个国家GDP可视化的例子：

3）Principal Component Analysis problem formulation

主成分分析是常见的降维方法。

需要注意的是：主成分分析不是线性回归。

主成分分析是最小化投射误差，线性回归是最小化预测误差。下图左面是线性回归，右边是主成分分析。

4）Principal Component Analysis algorithm

下面介绍PCA算法：

1）均值归一化： $\frac{x^{(i)}-u_j}{s_j}$

2）计算协方差矩阵： $\sum=\frac{1}{m}\sum_{i=1}^{n}(x^{(i)})(x^{(i)})^T$

3）计算协方差矩阵的特征向量；

5）Advice for applying PCA

使用从训练集得来特征向量；

PCA不宜用来防止过拟合；

PCA不是必要的机器学习过程；

机器学习笔记（十三）：降维相关推荐

机器学习笔记之降维(一)维数灾难
机器学习笔记之降维--维数灾难引言回顾:过拟合维度灾难从数值角度观察维数灾难从几何角度观察维度灾难示例1 示例2 引言本节将介绍降维算法,并介绍降维算法的相关背景. 回顾:过拟合我们在 ...
机器学习笔记之降维(二)样本均值与样本方差的矩阵表示
机器学习笔记之降维--样本均值与样本方差的矩阵表示引言场景介绍样本均值与样本方差样本均值与样本方差的矩阵表示样本均值的矩阵表达样本方差的矩阵表达中心矩阵的性质引言上一节介绍了维数灾难 ...
机器学习笔记(十)降维和度量学习
10.降维和度量学习 10.1k近邻学习 k近邻(k-NearestNeighbor,简称kNN)学习是一种常用的监督学习方法,其原理是:给定测试样本,基于某种距离度量找出训练集中与其最靠近的k个训练 ...
吴恩达机器学习笔记十三之推荐系统
本节目录 1 问题形式化 2 基于内容的推荐系统 3 协同过滤 4 向量化:低秩矩阵分解 5 推行工作上的细节:均值归一化 1 问题形式化对机器学习来说,特征是很重要的,你所选择的特征,将对你学习算 ...
[吴恩达机器学习笔记]14降维3-4PCA算法原理
14.降维觉得有用的话,欢迎一起讨论相互学习~Follow Me 14.3主成分分析原理Proncipal Component Analysis Problem Formulation 主成分分析( ...
机器学习笔记十三：Ensemble思想(上)
从上面几篇的决策树开始,就可以开始进入到集成学习(ensemble learning)了,与其说集成学习是一种算法,倒不如说集成学习是一种思想. 集成学习的思想也是很自然很符合人类直观理解的. 用通俗 ...
机器学习笔记之——降维（二）主成分分析(PCA)
目录主成分分析(PCA) 1. 坐标投影 2. 最近重构性 3. 最大可分性 4. 求解主成分分析(PCA) 1. 坐标投影主成分分析(PCA, Principal Component Anal ...
机器学习笔记(十三)半监督学习
13.半监督学习这章介绍半监督学习方法. 13.1未标记样本先说两个概念: 1)有标记样本(Labeled) 训练样本集Dl={(x1,y1), (x2,y2),-, (xl,yl)},这l个样本 ...
机器学习笔记十四：随机森林
在上一篇机器学习笔记十三:Ensemble思想(上)中,简要的提了一下集成学习的原理和两种主要的集成学习形式. 而在这部分要讲的随机森林,就算是其中属于bagging思路的一种学习方法.为了篇幅,b ...
李弘毅机器学习笔记：第十三章—CNN
李弘毅机器学习笔记:第十三章-CNN 为什么用CNN Small region Same Patterns Subsampling CNN架构 Convolution Propetry1 Propet ...

最新文章

热门文章