机器学习李宏毅 L24-Linear Dimension Reduction

2024-05-10 10:26:54

clustering 聚类

k-means方法：

HAC方法(Hierarchical Agglomerative Clustering):

Distributed Representation

用于实现dimension reduction。输入为特征，输出为维数较小的数据。常用的方法为PCA，principle component analysis。
可以使用拉格朗日乘数法进行PCA的求解。

we want the variance of z1 as large as possible

需要寻找一个变换矩阵W，使得x向量通过运算，得到z向量，其中z向量的各分量为x向量在W行向量的投影。而输出的向量z需要保证其越分散越好，即需要保证z的方差最大。方差的概念是所有的输出减去输出平均向量的平方和。最终的问题转换为，寻找到一个wiwiw_i，使得右下计算公式最大。

采用拉格朗日乘数法进行求解，最后权重矩阵W的各个向量均为S矩阵特征值对应的特征向量，从大到小排序。

PCA实例

对于较为复杂的输入特征，可以使用较为简单的components进行表示，如下所示：

进行变换后，可以得到下图，寻找合适的u1,u2,...,uku1,u2,...,uku_1,u_2,...,u_k，使得误差函数L最小。这里可以使用SVD分解进行求解

进一步地，PCA可以表示成神经网络的形式。这里需要参考最前面PCA的方法，也就是z=Wx；而得到的c1 c2是压缩后的结果，需要保证x−x^x−x^x-\hat{x}最小，auto-encoder。

对于unlabel data,可以使用PCA进行降维操作。（对于labeled data，可以使用LDA进行降维操作），从而得到输入数据的主要成分，eigen-digit, eigen-face。
由于PCA的权重值可以是负值，因此得到的主要成分不一定是简单的组成成分,这可以使用NMF进行计算，non-negative matrix factorization。

Matrix factorization

PCA参考

Matrix Factorization

2018-01-31

机器学习李宏毅 L24-Linear Dimension Reduction相关推荐

台大李宏毅Machine Learning 2017Fall学习笔记 (14)Unsupervised Learning:Linear Dimension Reduction
台大李宏毅Machine Learning 2017Fall学习笔记 (14)Unsupervised Learning:Linear Dimension Reduction 本博客整理自: http ...
无监督学习：Linear Dimension Reduction(线性降维)
一 Unsupervised Learning 把Unsupervised Learning分为两大类: 化繁为简:有很多种input,进行抽象化处理,只有input没有output 无中生有:随机给 ...
Datacamp 笔记代码 Unsupervised Learning in Python 第三章 Decorrelating your data and dimension reduction
更多原始数据文档和JupyterNotebook Github: https://github.com/JinnyR/Datacamp_DataScienceTrack_Python Datacamp ...
机器学习Machine Learning：特征选择Feature Selection 与数据降维Dimension Reduction的区别？
为什么会有降维和特征选择??? 我们知道机器学习的终极目标就是为了预测,当然预测前我们要对数据进行训练.通常我们不会拿原始数据来训练,为什么呢?可能有些人觉得原始信息(original data)包含 ...
机器学习（李宏毅）—— Linear Regression
Regression:输入可以是股票市场的各种指数.自动驾驶的检测角度.大数据推荐系统,输出是数字. 实例:宝可梦的CP值(战斗力)预测输入的内容包含,分别代表宝可梦的当前战斗力,种 ...
神奇宝贝/数码宝贝分类器笔记-机器学习-李宏毅2021
1.我们不利用classificaion而利用regression来分类的时候会遇到的问题在update的时候,regression因为一些噪点,或者偏离的点,逐渐将boundry远离了原本的目的函 ...
机器学习可行性与VC dimension
机器学习可行性在银行评估贷款申请人的授信请求前,会进行风险评估.符合申请则通过,反之驳回.长时间的数据和申请使得银行从中找到了一些规律并开始learning,所以风险评估就是一个learning的过 ...
机器学习-线性回归（Linear Regression）
目录 1.什么是线性回归 2. 能够解决什么样的问题 3. 一般表达式是什么 4. 如何计算 4.1 Loss Function--MSE 4.2 标准方程方法 5. 过拟合问题如何解决 5.1 什么 ...
Stanford机器学习---第一讲. Linear Regression with one variable
本栏目(Machine learning)包括单参数的线性回归.多参数的线性回归.Octave Tutorial.Logistic Regression.Regularization.神经网络.机器学 ...

最新文章

热门文章