核PCA（Kernel PCA）学习笔记

感谢大佬们的文章

1、(46条消息) Gram矩阵_wangyang20170901的博客-CSDN博客_gram矩阵

2、数据降维: 核主成分分析(Kernel PCA)原理解析 - 知乎

--------------------------------------------------KPCA应用解释----------------------------------------------------------

如果理解PCA的基础上去理解KPCA，简直就是相反的操作。PCA是有损降维，将多维数据降到低维且最大的保留重要的信息量，而KPCA是将低维往高维升，在低维中无法划分开的数据在高维却十分的容易简单，来张图片就能理解了。

图1是二维通过核为高斯核变成的三维图2。还有很多核等等再说，这里就将在二维不容易分离的数据点在三维就很容易分离开了。

打波广告不太理解PCA的可以看这篇：PCA（主成分分析法）的理解笔记及算法的实现_CMaking的博客-CSDN博客

-----------------------------------------------------KPCA总结步骤--------------------------------------------------------

废话不多先上步骤

1、选择核函数，组合成Gram matrix K=k(xi,xj)

2、标准化K，即 $\tilde{K}=K-2I_{\frac{1}{N}}K+I_{\frac{1}{N}}KI_{\frac{1}{N}}$ ，其中 $I_{\frac{1}{N}}$ 是nxn维的全是 $\frac{1}{N}$ 的矩阵

3、解出特征值核特征向量，即 $\tilde{K}\alpha _{r}=\lambda _{r}\alpha _{r}$

4、标准化 $\alpha _{r}$ ， $\alpha _{r}^{T}\alpha _{r}=\frac{1}{\lambda _{r}}$ ，模为 $\frac{1}{\lambda _{r}}$

5、最后就可以把任何一个数据点投影到主成分向量上了

是投影后的数据点。

----------------------------------------------------------------------------------------------------------------------

刚刚说了KPCA和PCA一堆塑料兄弟，在PCA中求协方差矩阵 $C=\frac{1}{m}XX^{T}$ 的特征值和特征向量，那么我们现在推广到高维的 $\Phi (x_{i})$ ,这个 $\Phi$ 是低维映射到高维空间的函数，简单理解为低维空间的点通过加工操作变成了高维空间的数据点就好了。

1、我们假设均值为0，即 $\frac{1}{N}\sum_{i=1}^{N}\Phi (x_{i})=0$ ，注意这里我们是假设的均值为0，等等后面要操作的。

2、我们计算高维协方差矩阵： $\tilde{H}=\frac{1}{N}\sum_{i=1}^{N}\Phi (x_{i})\Phi^{T} (x_{i})$ , $\tilde{H}$ 是代表高维协方差矩阵的意思不是平均值。

3、求 $\bar{H}$ 的特征值和特征向量。

就这样，但是 $\bar{H}$ 是个高维的非常非常的高，高维处理起来就非常的麻烦，那么我们接下来针对这个问题进行下面的推导。

首先根据特征向量的定义：

$\tilde{z}$ 是非零的特征向量

我们把带入到高维协方差矩阵中 $\bar{H}=\frac{1}{N}\sum_{i=1}^{N}\Phi (x_{i})\Phi^{T} (x_{i})$ ，即得到：

$\tilde{H}=\frac{1}{N}\sum_{i=1}^{N}\Phi (x_{i})\Phi^{T} (x_{i})\tilde{z}=\tilde{\lambda }\tilde{z}$

其中 $\Phi^{T} (x_{i})\tilde{z}$ 内积是个常数再乘以一个 $\frac{1}{N}$ 把他们合并起来，就可以得到

$\tilde{z}=\sum_{j=1}^{N}\alpha _{j}\Phi (x_{j})$ ， $\alpha _{j}=\frac{1}{N}\Phi^{T} (x_{i})\tilde{z}$

这样就把刚刚要找的 $\tilde{z}$ 转化成找一些系数 $\alpha$ ，只要能找到这个系数就能找到这个向量了。

------------------------------------------------------------------------------------------------------------------------------

我们接下来将 $\tilde{z}=\sum_{j=1}^{N}\alpha _{j}\Phi (x_{j})$ 带入到中就会得到

是不是看到很多 $\phi$ (x)头很大，那么我们接下来就定义 $k(x_{i},x_{j})=\phi ^{T}(x_{i})\phi(x_{j})$ ，将k带到上式中可以得到

两边继续同乘 $\phi^{T}(x_{k})$ ,k=1,....,N

我们在定义一个Gram matrix，他是任意K个向量的内积所组成的矩阵。

上链接： Gram矩阵_wangyang20170901的博客-CSDN博客_gram矩阵

$K\subseteqq \mathbb{R}^{N*N},K(i,j)=k(x_{i},x_{j}),k(x_{i},x_{j})=k(x_{j},x_{i})$ ,k是对称矩阵。

上式整理一下就有了 $K^{2}\alpha =N\tilde{\lambda }K\alpha$ ，两边相消K得到 $K\alpha =N\tilde{\lambda }\alpha$ ，令 $\lambda =N\tilde{\lambda }$ 整理得到

$K\alpha =\lambda \alpha$ ，然后解出特征值特征向量就好了。（当然没这么简单）

-------------------------------------------------------z向量标准化--------------------------------------------------------

注意的是我们在PCA中要求特征向量要单位化的即|| $\tilde{z}$ ||=1才行，在KPCA也一样那么我们标准化：

上式告诉我们单位化 $\tilde{z}$ 我们只需要 $||\alpha _{r}||=\frac{1}{\lambda _{r}}$ ，到这里我们就结束了嘛？还没有,上式中还有我们讨厌的 $\phi$ 存在，我们就把某个数据点投影到 $\tilde{z}$ 试试，即得到

我们为什么要把他投影到 $\tilde{z}$ 上？我们的目的是求主方向，那么主方向怎么求就是把一个数据点投影到主方向上，既然是这样我们就不用管 $\phi$ ()的定义了反正都可以直接计算出投影后的向量了。

最后一个问题，我刚刚一开始是假设 $\phi$ 是归一化后的，那么这里我们标准化好咯

这里用刚刚提到的Gram matrix代替里面的k就会得到 $\tilde{K}=K-2I_{\frac{1}{N}}K+I_{\frac{1}{N}}KI_{\frac{1}{N}}$ ,其中 $I_{\frac{1}{N}}$ 是nxn维的全是 $\frac{1}{N}$ 的矩阵。这一步使得K被标准化了

-----------------------------------------------------和函数------------------------------------------------------------------

核的选择要去试要去做实验才知道那个效果好，除非你很了解你的数据是什么分布的，不过在现实中不太可能会知道。

如果有错误欢迎留言指出，共同进步

核PCA（Kernel PCA）学习笔记相关推荐

【学习札记NO.00004】Linux Kernel Pwn学习笔记 I：一切开始之前
[学习札记NO.00004]Linux Kernel Pwn学习笔记 I:一切开始之前 [GITHUB BLOG ADDR](https://arttnba3.cn/2021/02/21/NOTE-0 ...
HEALER: Relation Learning Guided Kernel Fuzzing学习笔记
现代操作系统是最复杂的计算机程序之一,但在其开发的过程中不可避免地会引入错误或漏洞.并且由于操作系统的广泛应用和重要地位,这些漏洞可能带来严重的威胁并导致损失.因此,挖掘操作系统中隐藏的错误和漏洞对提 ...
Vivado中使用IP核SelectIO配置LVDS学习笔记
使用转串器OSERDESE与解串器ISERDESE实现自加数回环(数据不匹配)功能仿真. 仿真图如下: 仿真代码如下: `timescale 1ns / 1psmodule lvds_loop_tb( ...
Machine Learning with Python Cookbook 学习笔记第9章
Chapter 9. Dimensionality Reduction Using Feature Extraction 前言本笔记是针对人工智能典型算法的课程中Machine Learning w ...
[深度学习]Part2 数据清洗和特征工程Ch06——【DeepBlue学习笔记】
本文仅供学习使用数据清洗和特征工程Ch06 1. 特征工程 1.1 特征工程介绍 1.2 特征预处理 1.2.1 数据清洗 1.2.1.1 数据清洗-预处理 1.2.1.2 数据清洗-格式内容错误数 ...
【学习笔记】深蓝学院-三维点云处理
文章目录 PCA & Kernel PCA Suface Normal & Filters Nearset NeighborProblem KD-Tree Octree 聚类 k-me ...
影像组学视频学习笔记(23)-主成分析PCA、降维和特征筛选的区别、Li‘s have a solution and plan.
本笔记来源于B站Up主: 有Li 的影像组学系列教学视频本节(23)主要讲解: 主成分析PCA,影像组学降维和特征筛选的区别 0. PCA(Principal component analysis) ...
OpenCV学习笔记（四十六）——FAST特征点检测features2D OpenCV学习笔记（四十七）——VideoWriter生成视频流highgui OpenCV学习笔记（四十八）——PCA算
OpenCV学习笔记(四十六)--FAST特征点检测features2D 特征点检测和匹配是计算机视觉中一个很有用的技术.在物体检测,视觉跟踪,三维常年关键等领域都有很广泛的应用.这一次先介绍特征点检 ...
Robust PCA 学习笔记
很久没有写学习笔记了,年初先后忙考试,忙课程,改作业,回家刚安定下来,读了大神上学期给的paper,这几天折腾数学的感觉很好,就在这里和大家一起分享一下,希望能够有所收获.响应了Jeffrey的建议, ...

核PCA（Kernel PCA）学习笔记

废话不多先上步骤

核PCA（Kernel PCA）学习笔记相关推荐

最新文章

热门文章