要容易理解ICA，就需要先好好理解透彻下面这些概率统计和线性代数的知识点：高斯分布、概率密度函数、累积分布函数、复合函数的概率密度函数、行列式、代数余子式、矩阵微积分等。下面一一简单记录和复习下这些概念，俗话说书读百遍其义自见，这里再多写一遍也不为过。

1.ICA概念

Independent Component Correlation Algorithm，ICA，独立成分分析算法，是一种函数。

X为n维观测信号矢量，S为独立的m维未知源信号矢量，矩阵A被称为混合矩阵。

ICA的目的就是寻找解混矩阵W（W=A的逆矩阵），然后对X进行线性变换，得到输出向量U = WX = WAS

主要应用于：表情分类

ICA详细的计算过程的原理推理，详见后面文章：点我

2.高斯分布

2.1名称

Normal Distribution，正态分布，也称常态分布，又名高斯分布（Gaussian Distribution）。是一个在数学、物理及工程等领域都非常重要的概率分布。

2.2正态分布

若随机变量X服从一个数学期望μ，方差为σ^2的正态分布，则记作N(μ，σ^2)。

随机变量X的概率密度函数为：μ决定了其位置，标准差σ决定了分布的幅度。

2.3标准正态分布

当μ=0，σ=1时的正态分布为标准正态分布。

2.4正态分布<--->标准正态分布

为了便于描述和应用，将正态变量X作为数据转换，将一般正态分布转化为标准正态分布：

X就是一般正态分布，Y就是由X转换来的标准正态分布。

2.5正态分布几何形态

正态分布是一个概率分布，其形状神似一个倒扣的钟。

此图来自百度百科。

2.6一维正态分布的概率密度函数

若随机变量X服从一个数学期望μ，方差为σ^2的正态分布，则记作N(μ，σ^2)。则其概率密度函数为：

X被称为正态随机变量，称正态随机变量X服从的分布称为正态分布，记作，读作X服从，或者X服从正态分布。

2.7标准正态分布

当时，正态分布就成为标准正态分布，标准正态分布的概率密度函数为：

3.概率密度函数

probability density function，概率密度函数，也可以称为密度函数，一般简写为小写的pdf。

注：概率密度函数是连续型随机变量的；离散随机变量的，就是概率P(x)。

概率密度函数是一个描述这个随机变量的输出值，在某个确定的取值点附近的可能性的函数。

而随机变量的取值落在某个区域之内的概率则为概率密度函数在这个区域上的积分。

对于一维实随机变量X，设X的累积分布函数CDF是，如果存在可测函数满足：

那么X是一个连续型随机变量，并且是X的概率密度函数。

密度函数f(x) 具有下列性质：

① ；

② ；

③

注：连续型的随机变量取值在任意一点的概率都是0；如果概率P{x=a}=0，但{X=a}并不是不可能事件。

4.复合函数的概率密度函数

X的概率密度f _X (x)，若Y = ax，a是某个正实数，求Y的概率密度

注：如果a是负实数，则给结论的第一个1/a加上绝对值

注：如果Y和X是向量，A是矩阵的话，结论第一个1/a就变成|A|^-1，第二个1/a就变成A^-1。

5.累积分布函数/分布函数

CDF，Cumluative Distribution Function，累积分布函数，又叫分布函数，是概率密度函数的积分，可以完整描述一个实随机变量X的概率分布。

概率分布：

随机变量的概率分布，即随机变量的可能取值以及取得对应值的概率。

pdf和CDF：

一般用大写的CDF标记累积分布函数，分布函数。一般用小写的pdf标记概率密度函数。

累积分布函数的概念公式为：

举例一个离散随机变量的累积分布函数/分布函数的几何图形：

此图来自百度百科

CDF的性质

（1）有界性

（2）单调性

（3）右连续性

（4）X取值落在区间(a,b]之内的概率：

（5）随机变量X的CDF和pdf的关系：

6.联合分布函数/多维分布函数

joint distribution function，联合分布函数、也称为多维分布函数，多维随机变量的分布函数。

设(X,Y)是二维随机变量，对于任意实数x,y，有二元函数F(x,y)：

F(x,y) = P{(X<=x) 交 (Y<=y)} => P(X<=x, Y<=y)，

称F(X,Y)为二维随机变量(X,Y)的分布函数，或称为随机变量X和Y的联合分布函数。

几何意义

如果将二维随机变量（X,Y）看成是平面上随机点的坐标，那么联合分布函数F(X,Y)在(x,y)处的函数值就是随机点(X,Y)落在以(x,y)为顶点而位于该点左下方的无穷矩形区域内的概率。

二维离散随机变量X，Y的联合分布函数

则X,Y的概率分布函数一定满足：

7.行列式求导

注：

8.离散随机变量的分布律

分布律描述了离散随机变量取每个值各占的概率

(end)

【机器学习】【ICA-1】概率统计/代数知识详解：高斯分布、概率密度函数、累积分布函数、联合分布函数、复合函数的概率密度函数、行列式求导等相关推荐

趣谈网络协议-第二模块-底层网络知识详解:4陌生的数据中心2CDN和数据中心
趣谈网络协议-第二模块-底层网络知识详解:4陌生的数据中心2CDN和数据中心 1:CDN:你去小卖部取过快递么? 使用"中间仓库"来优化网络中的"就近配送" ...
怎么往integer型数组添加数据_用户日活月活怎么统计 - Redis HyperLogLog 详解
HyperLogLog 是一种概率数据结构,用来估算数据的基数.数据集可以是网站访客的 IP 地址,E-mail 邮箱或者用户 ID. 基数就是指一个集合中不同值的数目,比如 a, b, c, d 的 ...
python 快速排序_小白入门知识详解：Python实现快速排序的方法（含实例代码）...
前言: 今天为大家带来的内容是:小白入门知识详解:Python实现快速排序的方法(含实例代码)希望通过本文的内容能够对各位有所帮助,喜欢的话记得点赞转发收藏不迷路哦!!! 提示: 这篇文章主要介绍了P ...
网络知识详解之：网络攻击与安全防护
网络知识详解之:网络攻击与安全防护计算机网络相关知识体系详解网络知识详解之:TCP连接原理详解网络知识详解之:HTTP协议基础网络知识详解之:HTTPS通信原理剖析(对称.非对称加密.数字签名 ...
R统计绘图-PCA详解1(princomp/principal/prcomp/rda等)
此文为<精通机器学习:基于R>的学习笔记,书中第九章详细介绍了无监督学习-主成分分析(PCA)的分析过程和结果解读. PCA可以对相关变量进行归类,从而降低数据维度,提高对数据的理解.分析 ...
机器学习(32)之典型相关性分析(CCA)详解【文末有福利......】
微信公众号关键字全网搜索最新排名 [机器学习算法]:排名第一 [机器学习]:排名第一 [Python]:排名第三 [算法]:排名第四人工智能与Python公开课限时免费文末领取前言典型关联 ...
机器学习，深度学习基础算法原理详解（图的搜索、交叉验证、PAC框架、VC-维（持续更新））
机器学习,深度学习基础算法原理详解(图的搜索.交叉验证.PAC框架.VC-维.支持向量机.核方法(持续更新)) 机器学习,深度学习基础算法原理详解(数据结构部分(持续更新)) 文章目录 1. 图的搜索 ...
R语言基础知识详解及概括
R语言基础知识详解及概括目录 R语言基础知识详解及概括 R数据可视化示例 R语言进行数据创建
R语言可视化绘图基础知识详解
R语言可视化绘图基础知识详解图形参数:字体.坐标.颜色.标签等: 图像符号和线条: 文本属性: 图像尺寸及边界: 坐标轴.图例自定义等: 图像的组合: #install.packages(c(&qu ...

【机器学习】【ICA-1】概率统计/代数知识详解：高斯分布、概率密度函数、累积分布函数、联合分布函数、复合函数的概率密度函数、行列式求导等