浅谈ICA算法的概念、本质和流程

本文转自http://m.elecfans.com/article/699564.html

ICA独立成分分析是近年来出现的一种强有力的数据分析工具（Hyvarinen A, Karhunen J, Oja E, 2001; Roberts S J, Everson R, 2001）。1994年由Comon给出了ICA的一个较为严格的数学定义，其思想最早是由Heranlt和Jutten于1986年提出来的。

ICA从出现到现在虽然时间不长，然而无论从理论上还是应用上，它正受到越来越多的关注，成为国内外研究的一个热点。

ICA独立成分分析是一种用来从多变量（多维）统计数据里找到隐含的因素或成分的方法，被认为是PCA主成分分析(请参见人工智能（46）)和FA因子分析的一种扩展。对于盲源分离问题，ICA是指在只知道混合信号，而不知道源信号、噪声以及混合机制的情况下，分离或近似地分离出源信号的一种分析过程。

ICA算法概念：
ICA（IndependentComponent Analysis）独立成分分析是一门统计技术，用于发现存在于随机变量下的隐性因素。ICA为给观测数据定义了一个生成模型。在这个模型中，其认为数据变量是由隐性变量，经一个混合系统线性混合而成，这个混合系统未知。并且假设潜在因素属于非高斯分布、并且相互独立，称之为可观测数据的独立成分。

ICA与PCA相关，但它在发现潜在因素方面效果良好。它可以应用在数字图像、档文数据库、经济指标、心里测量等。

ICA算法本质：
ICA是找出构成信号的相互独立部分(不需要正交)，对应高阶统计量分析。ICA理论认为用来观测的混合数据阵X是由独立元S经过A线性加权获得。ICA理论的目标就是通过X求得一个分离矩阵W，使得W作用在X上所获得的信号Y是独立源S的最优逼近，该关系可以通过下式表示：

Y = WX = WAS ， A = inv(W)

ICA相比与PCA更能刻画变量的随机统计特性，且能抑制高斯噪声。

从线性代数的角度去理解，PCA和ICA都是要找到一组基，这组基张成一个特征空间，数据的处理就都需要映射到新空间中去。

ICA理论基础：
ICA理论基础如下：

1）标准正交基

2）白化

3）梯度下降

ICA目标函数:
ICA的目标函数如下：

样本数据 x 经过参数矩阵 W 线性变换后的结果的L1范数，实际上也就是描述样本数据的特征。

加入标准正交性约束（orthonormality constraint）后，ICA独立成分分析相当于求解如下优化问题：

这就是标准正交ICA的目标函数。与深度学习中的通常情况一样，这个问题没有简单的解析解，因此需要使用梯度下降来求解，而由于标准正交性约束，又需要每次梯度下降迭代之后，将新的基映射回正交基空间中，以此保证正交性约束。

ICA优化参数:
针对ICA的目标函数和约束条件，可以使用梯度下降法，并在梯度下降的每一步中增加投影（projection ）步骤，以满足标准正交约束。过程如下：

ICA算法流程：
已知信号为S，经混和矩阵变换后的信号为：X=AS。对交叠信号X，求解混矩阵B，使Y=WX各分量尽量相互独立。求解W的过程并不一定是近似A的逆矩阵，Y也不是信号S的近似，而是为了使Y分量之间相互独立。目的是从仅有的观测数据X出发寻找一个解混合矩阵。

常见的方法：InfoMax方法（用神经网络使信息最大化），FastICA方法（固定点算法，寻求X分量在W上投影（W^t）*X）的非高斯最大化。

主要算法流程如下：
1、预处理部分：1）对X零均值处理
2）球化分解（白化）

乘球化矩阵S，使Z=SX各行正交归一，即ZZ’=I

2、核心算法部分：寻求解混矩阵U，使Y=UZ，Y各道数据尽可能独立（独立判据函数G）。
1)、由于Y独立，各行必正交。且通常取U保持Y各行方差为1，故U是正交变换。
2)、所有算法预处理部分相同，以后都设输入的为球化数据z，寻找正交矩阵U，使Y=Uz独立。

由于独立判据函数G的不同，以及步骤不同，有不同的独立分量分析法。

3、Fast ICA算法思路：

思路：属于探查性投影追踪

目的：输入球化数据z，经过正交阵U处理，输出Y=Uz
1）输入球化数据z，经过正交阵某一行向量ui处理（投影），提取出某一独立分量yi。

2）将此分量除去，按次序依次提取下去，得到所有的yi ，以及ui。

3）得到独立的基向量U

U＝WX

Fast ICA算法程序如下：

function [Out1, Out2, Out3] =fastica(mixedsig, varargin)

%FASTICA(mixedsig) estimates theindependent components from given

% multidimensional signals. Each row ofmatrix mixedsig is one

% observed signal.

% = FASTICA (mixedsig); the rows oficasig contain the

% estimated independent components.

% = FASTICA (mixedsig); outputs the estimatedseparating

% matrix W and the corresponding mixingmatrix A.

mixedsig为输入向量，icasig为求解的基向量。

A即为混合矩阵，可以验证mixedsig=A×icasig。

W即为解混矩阵，可以验证icasig=W×mixedsig。

ICA算法优点：
1）收敛速度快。

2）并行和分布计算，要求内存小，易于使用。

3）能通过使用一个非线性函数g便能直接找出任何非高斯分布的独立分量。

4）能够通过选择一个适当的非线性函数g而使其达到最佳化。特别是能得到最小方差的算法。

5）仅需要估计几个（不是全部）独立分量，能极大地减小计算量。

ICA算法缺点：
1) 特征矩阵W的特征数量（即基向量数量）大于原始数据维度会产生优化方面的困难，并导致训练时间过长；

2) ICA模型的目标函数是一个L1范数，在 0 点处不可微，影响了梯度方法的应用。

注：尽管可以通过其他非梯度下降方法避开缺点2），也可以通过使用近似值“平滑” L1 范数的方法来解决，即使用 ( x2+ε )1/2 代替 |x|，对L1范数进行平滑，其中 ε 是“平滑参数”（smoothing parameter）。

ICA与PCA区别：
1） PCA是将原始数据降维并提取出不相关的属性，而ICA是将原始数据降维并提取出相互独立的属性。

2） PCA目的是找到这样一组分量表示，使得重构误差最小，即最能代表原事物的特征。ICA的目的是找到这样一组分量表示，使得每个分量最大化独立，能够发现一些隐藏因素。由此可见，ICA的条件比PCA更强些。

3） ICA要求找到最大独立的方向，各个成分是独立的；PCA要求找到最大方差的方向，各个成分是正交的。

4） ICA认为观测信号是若干个统计独立的分量的线性组合，ICA要做的是一个解混过程。而PCA是一个信息提取的过程，将原始数据降维，现已成为ICA将数据标准化的预处理步骤。

ICA算法应用：
从应用角度看，ICA应用领域与应用前景都是非常广阔的，目前主要应用于盲源分离、图像处理、语言识别、通信、生物医学信号处理、脑功能成像研究、故障诊断、特征提取、金融时间序列分析和数据挖掘等。

结语:
ICA是一种常用的数据分析方法，是盲信号分析领域的一个强有力方法，也是求非高斯分布数据隐含因子的方法。从样本-特征角度看，使用ICA的前提条件是，认为样本数据由独立非高斯分布的隐含因子产生，隐含因子个数等于特征数，要求的是隐含因子。ICA算法已经被广泛应用于盲源分离、图像处理、语言识别、通信、生物医学信号处理、脑功能成像研究、故障诊断、特征提取、金融时间序列分析和数据挖掘等领域

浅谈ICA算法的概念、本质和流程相关推荐

fastica和pca区别_浅谈ICA算法的概念、本质和流程
ICA独立成分分析是近年来出现的一种强有力的数据分析工具(Hyvarinen A, Karhunen J, Oja E, 2001; Roberts S J, Everson R, 2001).199 ...
music算法_“要热爱请深爱”系列（5）浅谈模拟退火算法
黄乐天浅谈模拟退火算法背景在实际生活中, 数学问题中,我们常常会遇到(一定范围内)函数求最值的问题.一般可以用数学方式解答,但如果遇到如下恶心的函数: 它的函数图像是这样的: 我们只好用计算机科 ...
浅谈PPO算法-玩转月球登陆
浅谈PPO算法-玩转月球登陆前言 github 什么是Actor-Critic? Actor-Critic代码 ppo算法实现前言总感觉强化学习公式真难学,也难表达心中所想,我还是白话强化学习 ...
浅谈OC中Block的本质
Block简介 block是将函数及其执行上下文封装起来的一个对象在block实现的内部,有很多变量,因为block也是一个对象其中包含了诸如isa指针,imp指针等对象变量,还有储存其截获变量的 ...
浅谈匈牙利算法(二分图最大匹配)
前置知识一张图是二分图,当且仅当它的点可以被分成两部分,而这张图上的所有边的两个端点,都分属不同的部分.我们称这两个点集,一个叫左部,一个叫右部.左部中的点叫左部点:右部中的点叫右部点. 一张图的一 ...
ltv价值应用_浅谈LTV模型的概念、算法及作用意义
本帖最后由图样图森破于 2013-11-14 09:11 编辑 LTV 概念用户终身价值(life time value)解释 LTV是在一定时间内,某一客户可能为企业带来的利润额. 顾客终身价 ...
浅谈Warshall算法
Warshall算法今天的离散数学课后作业里有需要求传递闭包的题目,不懂上课没听,本来想用matlab偷一下懒,但是搜到了Warshall算法,故参考百科及其它博客后写水篇博客. 传递性了 ...
[控制原理基础]浅谈PID算法
一.PID使用背景当今的自动控制技术都是基于反馈的概念.即一个In Loop闭环的理论,反馈理论的要素包括三个部分:测量.比较和执行.测量关心的变量,与期望值相比较,用这个误差纠正调节控制系统的响应 ...
浅谈对程序员的认识_浅谈关于程序员的本质
很多人认为计算机变得如此智能,所以在不久的未来将不再需要程序员.另外一些人认为程序员是天才,他们在电脑前能不断地解决复杂的数学难题.甚至不少程序员对他们是做什么的都没有清晰的概念.Computers ...

浅谈ICA算法的概念、本质和流程

浅谈ICA算法的概念、本质和流程相关推荐

最新文章

热门文章