独立成分分析ICA系列3:直观解释与理解

2024-05-09 12:07:56

服从均匀分布的独立成分sl和s2的联合分布．其中横坐标表示s1，纵坐标表示s2

为了进一步解释ICA的统计模型，考虑服从下列均匀密度分布的两个互相独立的随机变量：

这个联合分布是在一个方形上均匀分布的，其中样本点是从这个分布随机取样得到的。

现在如果用混合矩阵：

将源信号s1和s2混合，就得到混合信号xI和x2，他们的联合分布见下图．从上图可以看出随机变量s1和s2是相互独立的，因为如果给定s1的任何一个值，我们不能断定s2的任何信息，而将两个随机变量sl和s2混合后得到混合变量x1和22，则x1和x2之间就不是独立的了，因为当给定xl的取值后就可能得到zx2的信息，比如在下图的四个角处，x1和x2的关系就是已经确定了。

观测混合信号。x1和x2的联合分布．其中横坐标表示x1，纵坐标表示x2。

估计ICA数据模型的问题现在成为仅利用混合x1和x2的信息来估计混合矩阵A．实际上，我们可以通过观察上图来直观的估计矩阵A：平行四边形的边的方向就是混合矩阵A的列所指的方向．这样独立成分分析的解可以通过确定混合方向来得到，但在标准的ICA中这样的计算是较为复杂的，我们可以寻找更为方便，计算简单的算法，这里只
给出ICA的直观解释．对于复杂的情况，特别是稀疏超完各问题，我们可以通过一些这样的几何解释来帮助问题的解决。

参考文献：史振威. (2005). 独立成分分析的若干算法及其应用研究. (Doctoral dissertation, 大连理工大学).

独立成分分析ICA系列3:直观解释与理解相关推荐

独立成分分析ICA系列2：概念、应用和估计原理．
1.概念独立成分分析是从多元(多维)统计数据中寻找潜在因子或成分的一种方法．ICA与其它的方法重要的区别在于,它寻找满足统计独立和非高斯的成分.这里我们简要介绍ICA的基本概念.应用和估计原理. 1 ...
独立成分分析ICA系列1：意义
1.前言独立成分分析思想和方法最早源于上世纪八十年代几个法国学者的研究工作,尽管当时他们并没有命名其为ICP;在1986年举行的神经网络计算会议上,法国学者Heraull和Jutten提出了一个基于 ...
独立成分分析ICA系列5:信息极大化的 ICA 算法
1.ICA基本理论再综述在实际应用中,可以通过传感器得到一系列观测信号,这些观测信号是由未知源信号经过某种混合系统的输出,如在移动通信中,源信号经过发射机天线发出后,在无线信道中经过不确定的混合和干 ...
独立成分分析ICA系列4:ICA的最优估计方法综述
ICA算法的研究可分为基于信息论准则的迭代估计方法和基于统计学的代数方法两大类,从原理上来说,它们都是利用了源信号的独立性和非高斯性.基于信息论的方法研究中,各国学者从最大熵.最小互信息.最大似然和负 ...
学习笔记 | 独立成分分析(ICA, FastICA)及应用
学习笔记 | 独立成分分析[ICA, FastICA]及应用 1 背景说明 2 算法原理 2.1 ICA简介 2.2 形式化表达 3 算法步骤与代码 4 算法改进:FastICA 5 ICA实例与应用 ...
独立成分分析ICA/FastICA
最近在学习CSP,然后又注意到了ICA,这个算法之前就用过,但是没有系统的整理一下,所以就在这里梳理一下相关内容,方便以后查阅. 独立成分分析ICA/FastICA 1 盲源分离(BlindSourc ...
独立成分分析 ( ICA ) 与主成分分析 ( PCA ) 的区别
1.前言参考资料:https://www.zhihu.com/question/28845451 书上写的是: 1. 主成分分析假设源信号间彼此非相关,独立成分分析假设源信号间彼此独立. 2. 主成 ...
lda 吗样本中心化需要_机器学习 —— 基础整理（四）：特征提取之线性方法——主成分分析PCA、独立成分分析ICA、线性判别分析LDA...
本文简单整理了以下内容: (一)维数灾难 (二)特征提取--线性方法 1. 主成分分析PCA 2. 独立成分分析ICA 3. 线性判别分析LDA (一)维数灾难(Curse of dimensiona ...
R语言使用caret包的preProcess函数进行数据预处理：对所有的数据列进行独立成分分析ICA（Independent components analysis）、设置method参数为ica
R语言使用caret包的preProcess函数进行数据预处理:对所有的数据列进行独立成分分析ICA(Independent components analysis).设置method参数为ica 目 ...

最新文章

热门文章