理解 Bayes optimal error 贝叶斯最优误差

最近学习ML项目构建的时候涉及到“极限模型”的问题，其中谈到贝叶斯最优误差即系统所能达到的最低误差，那么贝叶斯误差是什么呢？在看过一些资料后，以下是我的总结以及一些个人想法：

贝叶斯最优误差是已知真实分布前提下的最优误差

这里可能产生的疑问：既然已知了真实的分布，那么为什么会有误差呢？
需要注意的，贝叶斯最优误差针对的是“分类问题”，即给出确切的类别而并非给出一个分布。事实上，如果我们需要给出的是一个分布那么在已知的前提下当然是不可能存在误差的。举一个例子：在气象预测系统中，假设我们已知真实分布
一周中出现的下雨的可能性为99%，不下雨的可能性为1%（假设这是真实分布，绝对正确），问：下周是否会下雨？
这里就可以发现，即使我们已知真实分布，但是在面对确定性预测问题时我们同样可能出现错误：假设预测下周会下雨，那么下周仍然可能有1%的几率不下雨，这就是贝叶斯最优误差，是理论上可能出现的最低误差。

贝叶斯误差表征了数据力量的极限

解释一下上面这段话的意思：数据的力量是有限的，贝叶斯最优误差对应了“拥有无限真实准确数据时我们能够从数据中汲取出的有效信息的极限”。事实上，我们利用数据进行预测，就是基于已知数据进行数据分布的预测，而贝叶斯最优误差是在已知分布的前提下进行的，这显然是一种极限状态，且要求我们能够利用现有数据推测出真实分布，这显然已经是极其困难甚至是无法预知和实现的。

说了这么多，贝叶斯最优误差究竟有什么用呢？
从上面的论述中我们已经知道：贝叶斯误差是理想误差，但是我们不可能事先已知真实分布，否则将没有进行机器学习的必要。因此工业项目中不会直接将贝叶斯最优误差作为模型的评价指标（无法得知的标准），那么贝叶斯估计在机器学习项目构建中体现在什么方面呢？
我想大家常听见一句话：这个模型已经和人类水平相当了！
是的，贝叶斯最优误差在机器学习项目中常常映射在“人类水平”上。对于一些问题，人类水平和贝叶斯误差相去不远（但是始终低于贝叶斯最优估计），如：图片内容识别与分类系统人类往往能够以高准确率识别出一张图片中的内容或含义。因此一些机器学习项目中我们常将人类水平作为模型评价标准。

一点补充：

如果机器项目已经和人类水平相当，那么接下来的提升将很缓慢，这是很好理解的，越接近贝叶斯最有误差，就难以更进一步。
为了接近人类水平，往往可以通过人类指导的方式对模型进行修正，例如找出错误分类样本，通过人类分析除可能的原因以指导改进方向。
如果你的机器学习项目和人类水平相当，那么基本没有必要收集更多的数据以期望能够更进一步地提升模型水平。从上面的论述中有讲到到：贝叶斯最优估计体现了数据的极限，再收集更多的数据也不可能超过这个水平了。

最后补充大神Andrew Ng的推荐解决方案：

参考：
贝叶斯误差理解
机器学习中，什么是贝叶斯估计？

理解 Bayes optimal error 贝叶斯最优误差相关推荐

[机器学习] 分类 --- Naive Bayes（朴素贝叶斯）
一.概率知识点复习 (1)条件概率就是事件A在另外一个事件B已经发生条件下的发生概率.条件概率表示为P(A|B),读作"在B条件下A的概率". (2)联合概率可以简单的理解为事 ...
naive bayes java_Naive Bayes（朴素贝叶斯）
Naive Bayes Bayes' theorem(贝叶斯法则) 在概率论和统计学中,Bayes' theorem(贝叶斯法则)根据事件的先验知识描述事件的概率.贝叶斯法则表达式如下所示: $$ \ ...
Naive Bayes（朴素贝叶斯）
Naive Bayes Bayes' theorem(贝叶斯法则) 在概率论和统计学中,Bayes' theorem(贝叶斯法则)根据事件的先验知识描述事件的概率.贝叶斯法则表达式如下所示: P(A| ...
Naive Bayes Classifier - 朴素贝叶斯分类器
Naive Bayes Classifier - 朴素贝叶斯分类器简介在机器学习中,朴素贝叶斯分类器是一系列基于"贝叶斯原理"和"特征之间独立分布假设"的概 ...
a*算法的优缺点_轻松理解机器学习算法-朴素贝叶斯
1.预备知识贝叶斯定理(Bayes' theorem)是概率论中的一个定理,它跟随机变量的条件概率以及边缘概率分布有关.通常事件A在事件B发生的条件下的概率,与事件B在事件A发生的条件下的概率是不一 ...
机器学习-胯下运球之Naive Bayes＜朴素贝叶斯法＞
Naive Bayes 朴素贝叶斯法 It's a way to find the probability of an event using the probability of other eve ...
【机器学习sklearn】高斯朴素贝叶斯 Gaussian naive bayes
贝叶斯Bayes - Thomas Bayes 前言一.贝叶斯决策论(Bayesian decision theory) 二.实例:高斯朴素贝叶斯 Gaussian Naive Bayes (Gau ...
朴素贝叶斯（Naive Bayes）详解
朴素贝叶斯是贝叶斯分类器中的一种模型,用已知类别的数据集训练模型,从而实现对未知类别数据的类别判断.其理论基础是贝叶斯决策论(Bayesian decision theory). 一:基础知识 (1) ...
贝叶斯角度对MAML的新的理解
本文依据文章title: 本文按照文章顺序进行,只抽取笔者认为的重点部分,如有不妥,还请看客给出意见建议一起进步.感兴趣的话,建议去biying原文阅读. 2. MAML以及分层贝叶斯表示的回顾 2. ...

理解 Bayes optimal error 贝叶斯最优误差

理解 Bayes optimal error 贝叶斯最优误差相关推荐

最新文章

热门文章