说明

上文【机器学习：论相关（一）】说明了相关在几何学、线性代数、和概率中都提到相似的概念。本文重点讨论在概率系统中，相关的现实意义，以及在时间序列上的应用。

五、概率学对相关的表述

5.1 期望的概念

在文【机器学习系列4：期望到底是个啥？】中，直观地介绍了期望的概念，这里站在理论立场上，对期望这个概念重新定义。

所谓期望，必须要有两个要素：1）一个概率空间 2）一个函数，该函数自变量为概率事件的集合。

举个例子：比如一个骰子，这是一个概率空间，另有一个收益函数，

$f(\{ 1 \}) = 2$

$f(\{2,3,4\}) = 1$

$f(\{5,6\})=20$

这个函数意思是，见到骰子是“1”，就得2分；见到骰子是“2，3，4”之一，就得1分；见到{5，6}得20分。对应的概率空间是：

$P(\{1\})=1/6$

$P(\{2,3,4\})=1/2$

$P(\{5,6\})=1/3$

那么，期望就是：

$E(f(\omega ))=\sum_{1}^3 f(\omega _k)_P(\omega _k)$

$E(f) = (1/6)*2+(1/2)*1+(1/3)*20$

在向量角度上看，在概率P下对函数f期望就是：向量 $V_1 = [ \{ f(\{1\} , f(\{2,3,4\} , f(\{5,6\} ]$ 和 $V_2 = [ \{ p(\{1\} , p(\{2,3,4\} ,p(\{5,6\} ]$ 这两个向量的内积:

$E(f) = <V1, V2>$

推广到连续函数：

$E(f) =\int_{- \infty }^{ \infty}fF dx$

其中，f是概率密度函数，F是集合函数。

结论：期望就是两个集合函数（一个是概率密度、一个是收益函数）的内积！

5.2 能量的自然规律

上文中提到，期望，就是一个概率空间，与一个打分函数的内积。【机器学习：论相关（一）】），然而，能量函数与期望、方差有内在关系。

首先让我们回顾弹簧的能量：

$U = \frac{1}{2}K\Delta x^2$

该公式最核心的内容是 $\Delta x^2$ ;k不过是个弹性系数；因此，位移的平方构成能量。也就是说，所谓能量是关于位移的抛物线函数，做为抛物函数，要么有极大值，要么有极小值；而自然界，能量函数普遍是有下限没有上限。举个直观的例子：将水桶举高到离地面一米的桌上；可以：

用手将水杯举起，花掉50焦耳能量。
将水杯举到10楼，在回到桌面，1000焦耳。
将水杯举到月球，再回到桌面，一亿焦耳。

而用少于50焦耳能量，将无法将水桶举到桌面。可见，开展一个活动，消耗能量有极小值，没有极大值。总之，遇到平方函数，立刻想到弹簧的势能，可以帮你建立数理模型。

5.3 能量、期望和方差的关系

举一个例子：给出下图若干石头子的坐标，问这些石头到哪个点的能量最小？

写出总能量函数：

$E=\sum_{}^{} d_i^2$

展开的形式为：

$E = (x-2)^2+(y-3)^2+(x-3)^2+(y-5)^2+(x-5)^2+(y-6)^2+\\(x-6)^2+(y-3)^2+(x-4)^2+(y-1)^2$

令：

$\frac{\partial E}{\partial x}=0$ 有 $x = \frac{2+3+5+6+4}{5}$

$\frac{\partial E}{\partial y}=0$ 有 $y = \frac{3+5+6+3+1}{5}$

正好是： $x =\sum _{k=1}^{5}\frac{x_k}{5}$ ; $y =\sum _{k=1}^{5}\frac{y_k}{5}$ ;

$(x,y)$ 是五个点的几何重心，也就是均值。而方差的公式是：

因此，有下列称述：

1）所谓期望，就是采样点的几何重心。
2）所有采样点相对几何重心的能量最小。
2) 所谓方差，就是所有采样点到几何重心的能量。

5.4 相关性

（未完待续）

机器学习：论相关（二）相关推荐

机器学习入门系列二（关键词：多变量(非)线性回归，批处理，特征缩放，正规方程
机器学习入门系列二(关键词:多变量(非)线性回归,批处理,特征缩放,正规方程) 目录(?)[+] 一多变量的线性回归二批处理三特征缩放四正规方程五多变量非线性回归一.多变量的线性回归在#机 ...
一天1个机器学习知识点（二）
陆陆续续整理的机器学习的知识点,资料大多数来自网上,不做盈利目的,如果侵权请告知即删!如果文章中有错误的地方还请各位同学指正,,一起学习,一起进步! 每天都在更新中,记得收藏,每天进步一点点!! 一天 ...
Spark机器学习实战 (十二) - 推荐系统实战
0 相关源码将结合前述知识进行综合实战,以达到所学即所用.在推荐系统项目中,讲解了推荐系统基本原理以及实现推荐系统的架构思路,有其他相关研发经验基础的同学可以结合以往的经验,实现自己的推荐系统. 1 ...
大数据与机器学习算法相关的电子书分享
大数据与机器学习算法相关的电子书分享近日,偶然看到一个帖子,上面有一些常用的机器学习常用的电子书下载路径,遂复制到这里,分享给大家,希望可以有你需要的- @ 欢迎关注微信公众号:算法全栈之路心智探奇 ...
机器学习的相关代码汇总
机器学习的相关代码汇总文章目录机器学习的相关代码汇总机器学习相关代码汇总 XGBoost 示例1 示例2 SVM 示例1 示例二 EM 示例1 示例二:GMM 贝叶斯网络示例一 LDA 机器学 ...
2021 MIT || 麻省理工机器学习导论（二）RNN LSTMs循环神经网络
2021 MIT || 麻省理工机器学习导论(二) YOUTube:MIT 6.S191: Introduction to Deep Learning(要梯子,可以去B站上找找,好像也有) 这些是我在 ...
国内常见与人工智能（深度学习、机器学习）相关比赛合集
国内常见与人工智能(深度学习.机器学习)相关比赛合集以下比赛一般最近一年一次,一届一届的办,不过在我们学校都不算ABC类,但在要继续走一下还是挺有用的,当然钱也比普通比赛奖励的多一.[第五届中 ...
机器学习中相关英文专业术语
机器学习中相关英文专业术语 Name Instructions activation function 激活函数 additive noise 加性噪声 autoencoder 自编码器 Autoen ...
机器学习笔记（二十八）：高斯核函数
凌云时刻 · 技术导读:核函数是机器学习算法中一个重要的概念.简单来讲,核函数就是样本数据点的转换函数.这一节我们来看看应用非常广泛的一个核函数,高斯核函数. 作者 | 计缘来源 | 凌云时刻(微 ...
机器学习的相关知识的简介
机器学习的相关知识与介绍后面有机器学习生活应用的例子 *阿尔法狗( AlphaGo )是一款围棋人工智能程序,由谷歌( Google) ! : 旗下 De叩Mind 公司的戴密斯·哈萨比斯.大卫·席 ...

机器学习：论相关（二）

说明