贝叶斯告诉你,投掷硬币概率可以是90%
信贝爷, 得永生
开头先开个玩笑, 有人说“信贝爷, 得永生” 你是否理解此中真意?
贝爷是这位, 生前是个神父。
贝叶斯分析是整个机器学习的基础框架, 它的思想之深刻远出一般人所认知的, 我们这里要从贝叶斯统计说起。
首先谈概率,概率这件事大家都觉得自己很熟悉, 叫你说概率的定义 , 你却不一定说的出,我们中学课本里说概率这个东西表述是一件事发生的频率, 或者说这叫做客观概率。
而贝叶斯框架下的概率理论确从另一个角度给我们展开了答案, 他说概率是我们个人的一个主观概念, 表明我们对某个事物发生的相信程度。 如同Pierre Lapalace说的: Probability theory is nothing but common sense reduced to calculation. 这正是贝叶斯流派的核心,换句话说,它解决的是来自外部的信息与我们大脑内信念的交互关系。
两种对于概率的解读区别了频率流派和贝叶斯流派。如果你不理解主观概率就无法理解贝叶斯定律的核心思想。
贝爷居然能解决家庭纠纷?
我们来看一下贝叶斯统计的一个有趣的案例案例:假如你是一个女生, 你在你的老公书包里发现了一个别的女人的内裤那么他出轨的概率是多少。
图:贝爷居然能解决家庭纠纷?
稍微熟悉这个问题的人对会知道做这个题目你要先考察基率,你要把这个问题分解为几步考虑:
1,你老公在没有任何概率情况下出轨的概率是多少? 如果他是个天生老实巴交的程序员或者风流倜傥的CEO, 那么显然不该一视同仁
2,如果你老公出轨了, 那么他有一条内裤的概率是多少, 如果他没出轨, 出现这个情况概率有多少? 想想一般人即使出轨也不会犯那么傻的错误, 会不会有没出轨而出现内裤的状况? 有没有可能是某个暗恋你老公的人的陷害?
3, 根据1 和2求解最终问题,这才是拥有大学数学能力的你该做的分析。
在这里1其实就是先验概率P(A),而2是条件概率P(B|A), 最终得到3后验概率P(A|B)。这三种即是贝叶斯统计的三要素。
基于条件概率的贝叶斯定律数学方程极为简单:
A即出轨, B是内裤出现, 你得到1,2,就可以根据公式算出根据根据内裤出现判断出轨的概率。
先验概率在贝叶斯统计中具有重要意义,首先先验概率即我们在取得证据之前所指定的概率P(A), 这个值通常是根据我们之前的常识,带有一定的主观色彩。 就像刚刚说的出轨的问题, 你的先验概率代表了你对你男人的信心。
有一个非常有趣的现象是如果我们的先验概率审定为1或0(即肯定或否定某件事发生), 那么无论我们如何增加证据你也依然得到同样的条件概率(此时P(A)=0 或 1 , P(A|B)= 0或1) 这告诉我们的第一个经验就是不要过早的下论断, 下了论断你的预测也就无法进化了, 或者可以称之为信仰。 你如果想让你的认知进步,就要给各种假设留一点空间。
贝叶斯分析看辛普森案
贝叶斯分析的思路对于由证据的积累来推测一个事物发生的概率具有重大作用, 它告诉我们当我们要预测一个事物, 我们需要的是首先根据已有的经验和知识推断一个先验概率, 然后在新证据不断积累的情况下调整这个概率,整个通过积累证据来得到一个事件发生概率的过程我们称为贝叶斯分析。
贝叶斯分析中的三要素在不同的问题中通常侧重点 , 很多时候我们都是在忽略先验概率的作用,比如描述一个人很书呆子气让你判断他是大学老师还是销售员的经典案例(要看先验大学老师还是销售员哪个多啊)。
但是有时候我们也不理解条件概率, 比如著名的辛普森案, 为了证明辛普森有杀妻之罪,检方说辛普森之前家暴,而辩护律师说,美国有400万女性被丈夫或男友打过,而其中只有1432人被杀,概率是2800分之一。
这其实就是勿用了后验概率, 这里的条件是被杀而且有家暴,而要推测的事件是凶手是男友(事实上概率高达90%),这才是贝叶斯分析的正当用法, 而辩护律师却把完全在混淆条件与要验证的假设。
图: 贝叶斯分析法庭也用的上哦!
理解贝叶斯分析最好的方法即图像法, 这里的A的面积即先验, 后验是阴影占篮圈的百分比。
贝叶斯分析可以瞬间理解一些常用的理论, 如幸存者偏差,你发现一些没读过书的人很有钱,事实上是你发现就已经是幸存者了(对应上图中小红圈), 而死了的人(红圈外的大部分面积)你都没见到啊。
还有阴谋论, 阴谋论的特点是条件很多很复杂, 但是条件一旦成立,结论几乎成立,你一旦考虑了先验,这些条件成立本身即很困难, 阴谋论不攻自克。
注: 图上红圈和篮圈的面积, 很少我们在开始就知道, 这才是应用中的难点。
此处贝叶斯分析的框架也在教我们如何处理特例与一般常识的规律。
如果你太注重特例(即完全不看先验概率) 很有可能会误把噪声看做信号, 而奋不顾身的跳下去。
如果恪守先验概率, 就成为无视变化而墨守成规的人。其实只有贝叶斯流的人生存率会更高, 因为他们会重视特例, 但也不忘记书本的经验,根据贝叶斯公式小心调整信心,甚至会主动设计实验根据信号判断假设,这就是我们下一步要讲的。
贝叶斯决策如何判定男女
在刚刚讲到的贝叶斯统计分析的基础上, 我们就可以引出一个更核心的概念, 贝叶斯决策。
贝叶斯决策主要包含四个部分: 数据(D), 假设(W),目标(O),决策(S)。 此处的数据即之前讲到的证据, 假设是我们要验证的事实, 目标是我们最终要取得优化的量, 决策时根据目标得到的最后行为。与上一步贝叶斯分析增加的部分是目标和决策。假设在问题里如果是连续的往往以参数空间的形式表达。
然后我们可以按照如下步骤做:
第一, 理清因果链条,哪个是假设,哪个是证据。
第二,给出所有可能假设,即假设空间
第三,给出先验概率
第四,根据贝叶斯概率公式求解后验概率, 得到假设空间的后验概率分布
第五,利用后验概率求解条件期望, 得到条件期望最大值对应的行为
贝叶斯决策如果一旦变成自动化的计算机算法, 它就是机器学习。Ok, 此处应有掌声,我们就用贝叶斯决策诠释一个最简单的机器学习分类算法- 朴素贝叶斯
假设给你一个人的身高和体重资料,你不知道他的男女性别, 你可以通过我上述给出的贝叶斯决策机制解决这个问题:
首先, 此处我们的证据是身高和体重, 假设是男或女。先验概率是人口中的男女比例, 而我们需要掌握的条件概率是男性和女性的身高和体重分布,这应该是很好掌握的信息。
然后我们可以根据贝叶斯公式求解后验概率,而此处我们要做的决策时男女,目标是分类错误率最低,决策即性别分类。
此处我们用到一个基本假设就是证据是互相独立的, 使我们能够求得更简单的公式:
图: 朴素贝叶斯,核心在于假设证据互相独立。由此我们得到下列乘法公式(feature对应x)
用数学语言白表征这个问题, X特征向量,h把X映射成不同的分类, 我们要求得是P(y|x) 正确率最大的假设(y)。
投掷硬币的概率并不是50%
事实上,贝叶斯决策很少只涉及A和B, 而是内部包含非常关键的隐变量(参数),涉及我们对所研究事物的一些基本预设。比如下面这个特别简单的例子:
抛掷硬币,一个硬币被投掷10次9次朝上,那么根据频率学派的观点, 得到第11次投掷的概率不变为0.5 ,如果你回答了0.9, 你经常会被看成一个傻X。 其实不然,天底下哪有一样的硬币呢?
那么问题来了,我设一个赌局, 一次正面向上你可以受益100, 反面惩罚150, 基于刚才的事实你要不要做这个局?
我们完全可以套用贝叶斯决策的理论来。 这里的一个重要的隐变量是每一次投掷硬币的概率,这个数字按照经典频率学派认定一定是0.5, 而按照贝叶斯学派的观点, 需要把这个变量看成是未知的,具有一定先验概率,之后严格按照贝叶斯公式计算新加入证据对先验概率的影响。
此处的先验概率即你对硬币向上0.5这件事的信念, 你越相信这个事实, 这个分布越尖,反之越宽广。 我们用希腊字母theta来表征这个概率。整个决策表述如下:
公式的含义是你要用求解已知9次朝上1次朝下的时候求解你下一次投掷硬币的期望收益, 并因此决策要不要赌。
中间要验证的假设空间即每一次投掷为正的概率,我们依然以每次事件独立和该概率不随时间变化为基准(如果不是问题将无限复杂),那么证据将根据上述公式改变假设空间的概率分布, 而最终的期望可以根据这个分布求出。决策即使得这个期望最大的解。
注意此处先验十分重要,因为它影响决策的结果, 而这又是一个很主观的东西,如果你对0.5有绝对的信心, 那么你的就会非常尖,这个时候你需要得到大量偏离0.5的证据才能逐步纠偏。
对于书呆子样的人,估计会倾向给出一个比较尖锐的先验分布,相信书里说的0.5而不赌, 而一些更加倾向于相信特例的人则会给出很平坦的先验而更大的概率去赌。最终后者发财和倾家荡产的几率都比较高,而前者比较容易旱涝保收。
当然, 在数据量超大,比如说1000次有900次为正的情况下,我们几乎不需要考虑先验(自己去看公式),此时几乎可以认定投掷的概率就是0.9.
图:证据对信念发生作用的贝叶斯过程
大脑是一个贝叶斯网络?
如果我们的贝叶斯决策中牵涉的证据更复杂呢? 如果这些证据之间不是简单独立而是互为因果呢?这时候更为强大的工具——贝叶斯网络就应运而生。
世界上的事无一不处于复杂的联系之中, 而贝叶斯网络正是刻画这种关联的数学表述。
构建一个贝叶斯网络的关键方法是图模型,构建一个图模型我们需要把具有因果联系的各个事件用箭头连在一起。
下图的例子是这样一个事件, 我们看到草坪湿润了,那么我想推测此时天气多云的概率 ,因为导致草坪湿润的原因有下雨或者洒水车在工作, 而这两者又都和多云有联系,那么我们可以画出如下图形,按照贝叶斯概率公式逐级推出每个事件的概率。
贝叶斯网络的特性是,当某点的一个证据出现, 整个网络中事件的概率都变化, 所谓看到镜中的一丝百发, 就改变你对人生中所有重大事件概率的推断。
我们的大脑 : 有人说我们的大脑是一个贝叶斯网络, 这句话又对又不对 ,我们的大脑学习的原理,的确正是一个新的证据逐步和内部信念耦合的过程,本质即贝叶斯网络,但是我们大脑又是一个不完全的贝叶斯推断机, 每个人都有一个顶层以三观构建,底层逐步深入个个关于具体问题看法的贝叶斯网路, 但是我们却很少有能够通过一个证据更新整个网络的能力,或者是我们吸收新证据的速度也往往十分缓慢,这是为什么我们经常具有自相矛盾的信念体系,经常一方面喊着人性解放一方面又崇拜偶像。
梧桐一叶又有几人知秋。
(注:本文仅代表作者观点)
贝叶斯告诉你,投掷硬币概率可以是90%相关推荐
- 用贝叶斯来看看抛硬币的概率
前面介绍了贝叶斯学派的思想和先验分布.后验分布的相关知识,古典频率学派认为抛硬币的概率是常数,本文从贝叶斯学派的角度看待抛硬币的概率问题.本文详细介绍了 分布,重述贝叶斯思想,对于抛硬币的概率问题作 ...
- 贝叶斯法则求垄断者阻挠概率的动态博弈问题
贝叶斯法则举例分析 引用贝叶斯法则的举例分析 第1步 计算P(B): 挑战者B不知道原垄断者A是属于高阻挠成本类型还是低阻挠成本类型,但B知道,如果A属于高阻挠成本类型,B进入市场时A进行阻挠的概率是 ...
- 《大话机器学习算法》贝叶斯—用贝叶斯计算吃火锅的概率
写在前面的话 前面用了三篇内容讲了决策树算法,也算是浅入浅出了,对于入门来说还是足够的 大话系列 | 决策树(上篇)-理论 大话系列 | 决策树(中篇)-理论 大话系列 | 决策树(下篇)-实战 学完 ...
- 贝叶斯推断 概率编程初探
1. 写在之前的话 0x1:贝叶斯推断的思想 我们从一个例子开始我们本文的讨论.小明是一个编程老手,但是依然坚信bug仍有可能在代码中存在.于是,在实现了一段特别难的算法之后,他开始决定先来一个简单的 ...
- 机器学习之贝叶斯网络(概率流动的影响性、有效迹(active--trail)、网络的构建)
前面学习了朴素贝叶斯的原理,并且利用朴素贝叶斯原理对西瓜数据集3.0数据集进行了分类:朴素贝叶斯(Naive Bayes)原理+编程实现拉普拉斯修正的朴素贝叶斯分类器,今天我们更进一步,来探讨一下 ...
- 贝叶斯学习(Bayesian Learning)基础篇
Bayesian Learning 前言 Motivation and Introduction Think about Spam Filtering. 先验概率 后验概率 似然度 边际概率 Basi ...
- 看见统计——第五章 统计推断:贝叶斯学派
看见统计--第五章 统计推断:贝叶斯学派 引言 推理的频率学派认为,概率在本质上是与频率联系在一起的.这种解释实际上是很自然的.按照频率学派的说法,一枚公平的硬币出现人头的概率是1/2.简单地说,在同 ...
- Machine Learning | (5) Scikit-learn的分类器算法-朴素贝叶斯
Machine Learning | 机器学习简介 Machine Learning | (1) Scikit-learn与特征工程 Machine Learning | (2) sklearn数据集 ...
- 贝叶斯、香农、奥卡姆合写博客「机器学习是什么」
贝叶斯.香农.奥卡姆合写博客「机器学习是什么」 https://www.cnblogs.com/DicksonJYL/p/9698362.html 作者:Tirthajyoti Sarkar 来源:T ...
最新文章
- 深度学习不能取代计算机视觉技术背后的真正原因
- Screenium 3 for Mac - 强大的屏幕录制编辑器
- java反射机制及使用案例
- Python标准库中的shutil
- 拓扑排序:如何确定代码源文件的编译依赖关系
- Linux中vi的退出命令
- 垂直滤波和水平滤波的区别_无锡有源滤波器的功能是_灿勤科技
- python空气质量等级判断_空气质量等级的判定
- UWP VS创建UWP应用项目
- 如何查看所有已安装的Windows驱动程序的列表
- 通过Windows事件查看器可以查看某一个应用程序在过去某一时刻曾经出现的错误记录
- NBIOT BC26 opencpu物联网应用案例详细解析
- 新网站做SEO最适合做哪些外链
- 第二章(第四部分) 黑暗之王的分身
- 图像处理入门和UltraLAB P620系列全能型、高性能、静音级便携工作站
- 存在的多个逻辑与()和逻辑或(||)的执行顺序
- 语音对讲软件_微信语音转播软件哪个好?你有没有推荐的呢?
- jqprint 分页打印_Jqprint实现页面打印
- 红米K30s和华为Mate30Epro哪个好
- JSCC精研变频器B150使用说明
热门文章
- Windows -- cmd命令: ipconfig 和 nbtstat
- 洛谷P1396 营救 题解
- ASP.NET Core 简单实现七牛图片上传(FormData 和 Base64)
- Cocos2D-x工程目录介绍
- 提升 .NET 程序性能的 一些 原则
- 使用Sniffer截获流经本机网卡的IP数据包
- vue 时间刻度_vue时间轴风格式的图片展示
- [python爬虫] Selenium爬取内容并存储至MySQL数据库
- 【数字图像处理】五.MFC图像点运算之灰度线性变化、灰度非线性变化、阈值化和均衡化处理详解
- 【数据结构与算法】之深入解析“奇偶链表”的求解思路与算法示例