【阅读笔记】频率视角下的机器学习

注：本文是对极客时间《机器学习40讲》之《频率视角下的机器学习》的阅读记录。

大纲

频率
- 事件发生的频率的极限值
统计学
- 参数确定，数据随机
- 参数估计
统计机器学习
- 损失函数
- 经验风险

频率学派

对于概率的解读，有两种不同的解读方式，这两种不同的思维方式导致了对机器学习的两种截然不同的解读。

机器学习的任务是基于现有的数据来构造模型，然后利用模型对未知数据进行预测分析。事件本身的发生是一种概率模型，因此对概率的认知方式不同，决定着对模型本质的理解，构造方式有着天然的差异。

在频率学派眼中，概率是什么呢？

答案是：事件发生的频率的极限值。

对于这个的理解，实际上我们是常常无意识的在应用这个观点的，比如数学课本上会用抛硬币很多次统计正反面出现的频率，计算出正反面出现的比例，就作为概率来使用。

一个显然的常识是，抛的次数太少，是无法得到50%这样的概率值的，只有抛得够多，比如上千次，上万次，大概频率的比值会收敛到50%左右。

事实上，频率学派眼中，当重复试验的次数趋近于无穷大时，事件发生的频率会收敛到概率之上。 – 《机器学习40讲》

在这个常识背后，隐藏着一个前提，那就是：概率是一个确定的值，不会受到单次观察结果的影响。

在频率学派的眼里，待估计的参数是固定不变的常量，即参数不是概率分布，而在参数主导下的观测数据，因为噪声和各种干扰的存在，反倒是随机变量。

即，数据分布的波动，不是来源于参数的分布，而是有限次观察造成的干扰。

统计机器学习的核心是从数据中来，到数据中去，通过对数据进行拟合，逼近背后的规律，然后应用规律去预测分析未知的数据。

采样分布与最大似然估计

统计学习的核心任务：利用从总体中抽取的样本来估计未知的总体参数。

样本数据本身的分布，被称之为采样分布，注意频率学派将样本数据视作随机变量，所以在确定了样本的分布后，对总体的参数估计的任务就变为一个最优化问题。

比如频率学派常用的最大似然估计。

最大似然估计的目标

最大似然估计在概率论与数理统计这门课程里，我们一般只学会了如何利用它，而没有去深究背后的道理。

最大似然估计的目标非常明确，就是让似然概率最大化。换句话说，就是在总体参数固定的情况下（这是频率学派的基本假设），让数据出现的条件概率最大化。

什么是似然函数？

似然函数就是概率的反过程，已知实验结果，去估计参数的过程。

概率是给定某一参数值，求某一结果的可能性。
似然是给定某一结果，求某一参数值的可能性。

当给出一次观察结果，我们可以对这个观察结果，可以是一次，也可以是多次，构建一个关于参数的函数，结合着频率学派的一个基本出发点：

一组数据之所以能在单次试验中出现，是因为它出现的可能性最大。

于是我们可以将这个关于参数的函数最大化，即赋予观测数据最大似然概率的过程，就是参数估计的过程。

简单总结一下就是：频率学派解决统计问题的基本思路就是，参数确定，数据随机。利用随机的数据来推断确定的参数，所以得到的结果也是随机的。

即使上帝真的掷色子，但从色子脱手的那一刻起，它的点数就不再受上帝的控制。 – 《机器学习40讲》

统计机器学习的做法

由频率学派的基本教义出发，可以得出统计学习的一般做法。

那就是，对给定的指标，如似然函数或者是均方误差，进行最优化，来估计模型中的参数取值。

统计机器学习的核心特征：“与参数相关的信息完全来自数据。”

损失函数

观测数据并不能精确反映未知参数，因为有噪声和干扰的存在。但我们还是需要对估计的结果的精度进行衡量，这个度量就交给了损失函数。

损失函数的期望则被称之为风险。将风险最小化就是参数估计的依据和准则。

但是，这个过程如下：

数据的分布需要未知参数的精确取值 --> 在数据的概率分布上对损失函数积分–> 计算风险 --> 估计最优参数

可以看出首尾依赖，而末尾则是我们的目的，所以这是个循环依赖问题。

对于频率学派而言，这个问题简单描述就是：风险函数是无法精确求解的。

为了应对这个问题，统计机器学习引入了新的概念：经验风险。

即：用训练数据的经验分布来替换数据的真实分布。

END.

https://www.zhihu.com/question/54082000/answer/145495695
http://blog.sina.com.cn/s/blog_e8ef033d0101oa4k.html