https://en.wikipedia.org/wiki/Autocorrelation

一、相关的概念从何而来？

相关这个概念，是数学进入到多维度才出现的概念，在此之前，数值与数值谈不上相关，但代数进入向量化时代，随着对两团数之间的关系研究，出现相关之概念。比如，集合与集合的关系、一个向量和另一个向量的关系等。

“相关”这个概念在数学上，至少三处提到：几何层面的、代数层面的、概率层面的。虽然说来源不同，但它们从概念上不矛盾，而且互相印证。

下面，我们将讨论从几何层面的、代数层面的、概率层面的各自表述，以及它们是如何一致起来的。

二、几何对相关的表述

从几何上说，线与线存在相关关系是建立在两条线的夹角来衡量的，如下：

当几何发展到向量阶段，就出现“分量”的概念，因而，两个向量的夹角就扮演了相关程度的角色。

三、代数对相关的表述

如果两个向量： $A,B \in \mathbb {R} ^{n}$ (就是A，B都是实的n维向量)，当

$A\cdot B=0$ 则 $A,B$ 是正交的（就是垂直概念的拓宽），即线性无关
$A\cdot B \neq 0$ 且 $\frac{\large A\cdot B}{||A||\cdot ||B||} = \pm 1$ 说明 $A,B$ 是平行的,也就是线性相关。
$A\cdot B \neq 0$ 且 $\frac{\large|| A\cdot B||}{||A||\cdot ||B||} <1$ 说明 $A,B$ 是线性无关。

一般来说，上述在线性代数中，叫做A可以用B线性表出，即

$A=m B$ 中当 $m\neq 0$ 时，A和B线性相关。都是一回事。

四、内积的概念

线性相关是强相关，有没有比线性相关的弱相关呢？有。这里先介绍内积的重大概念。

内积就是两个相同维度向量 $A=[a_1,a_2,......a_n]$ 和 $B=[b_1,b_2,......b_n]$ 之间的运算：

$A\cdot B=\sum _{k=1}^na_kb_k$

这里为什么强调内积的概念？主要是，凡是针对由多个数组成的数据集团，这种运算都有效，比如对：1）集合里的元素 2）向量，矩阵 3）概率的分布。4）两个函数的关系5）一个函数与一个概率分布的关系，等等都有效。

五、概率学对相关的表述

5.1 期望的概念

在文【机器学习系列4：期望到底是个啥？】中，直观地介绍了期望的概念，这里站在理论立场上，对期望这个概念重新定义。

所谓期望，必须要有两个要素：1）一个概率空间 2）一个函数，该函数自变量为概率事件的集合。

举个例子：比如一个骰子，这是一个概率空间，另有一个收益函数，

$f({ 1 }) = 2$

$f({2,3,4}) = 1$

$f({5,6})=20$

这个函数意思是，见到骰子是“1”，就得2分；见到骰子是“2，3，4”之一，就得1分；见到{5，6}得20分。

概率空间是：

$P({1})=1/6$

$P({2,3,4})=1/2$

$P({5,6})=1/3$

那么，期望就是：

$E(f(\omega ))=\sum_{1}^3 f(\omega _k)_P(\omega _k)$

$E(f) = (1/6)*2+(1/2)*1+(1/3)*20$

推广到连续函数：

$E(f) =\int_{- \infty }^{ \infty}fF dx$

其中，f是概率密度函数，F是集合函数。

实质上，期望就是两个集合函数（一个是概率密度、一个是收益函数）的内积！

（未完待续！）

机器学习：论相关（一）相关推荐

大数据与机器学习算法相关的电子书分享
大数据与机器学习算法相关的电子书分享近日,偶然看到一个帖子,上面有一些常用的机器学习常用的电子书下载路径,遂复制到这里,分享给大家,希望可以有你需要的- @ 欢迎关注微信公众号:算法全栈之路心智探奇 ...
机器学习的相关代码汇总
机器学习的相关代码汇总文章目录机器学习的相关代码汇总机器学习相关代码汇总 XGBoost 示例1 示例2 SVM 示例1 示例二 EM 示例1 示例二:GMM 贝叶斯网络示例一 LDA 机器学 ...
机器学习的相关知识的简介
机器学习的相关知识与介绍后面有机器学习生活应用的例子 *阿尔法狗( AlphaGo )是一款围棋人工智能程序,由谷歌( Google) ! : 旗下 De叩Mind 公司的戴密斯·哈萨比斯.大卫·席 ...
国内常见与人工智能（深度学习、机器学习）相关比赛合集
国内常见与人工智能(深度学习.机器学习)相关比赛合集以下比赛一般最近一年一次,一届一届的办,不过在我们学校都不算ABC类,但在要继续走一下还是挺有用的,当然钱也比普通比赛奖励的多一.[第五届中 ...
机器学习中相关英文专业术语
机器学习中相关英文专业术语 Name Instructions activation function 激活函数 additive noise 加性噪声 autoencoder 自编码器 Autoen ...
python - 机器学习lightgbm相关实践
相关文章: R+python︱XGBoost极端梯度上升以及forecastxgb(预测)+xgboost(回归)双案例解读 python︱sklearn一些小技巧的记录(训练集划分/pipellin ...
Python机器学习16——相关向量机(RVM)
本系列基本不讲数学原理,只从代码角度去让读者们利用最简洁的Python代码实现机器学习方法. 背景介绍学机器学习的应该都知道支持向量机(SVM),这个方法在深度学习兴起之前算是很热门的分类方法,在机 ...
机器学习的相关软件框架下载安装
文章目录一.Anaconda 1. Anaconda 的下载 2. Anaconda 的安装 3. Anaconda Navigator 打不开问题(不适用所有) 二.PyTorch-CPU 1. ...
【机器学习】与机器学习算法公式相关的数学家，你认识几个？
机器学习,需要一定的数学基础,也需要一定的代码能力.机器学习算法里面有很多数学公式是数学家的名字命名的,然而,好多人不知道那些数学家长什么样子.于是,我们搜集了十位数学家的资料(排名不分先后),看看大 ...
机器学习统计学相关书籍
1. <统计学完全教程> All of statistics 卡耐基梅隆沃塞曼 2. 第四版<概率论与数理统计> 莫里斯.德格鲁特(Morris H.DeGroot)和马克. ...

机器学习：论相关（一）