【数学基础】
1. 概率
  • 条件概率:
    事件A在事件B发生的前提下发生的概率,表示为:P(A|B),读作A在B发生的条件下发生的概率。
  • 联合概率:
    两个事件共同发生的概率,比如事件A和B的联合概率表示为:P(AB)或者P(A,B)。
  • 边缘概率:
    是对某个事件发生的概率,而与其他事件无关,比如事件A的边缘概率表示为P(A),同样事件B的边缘概率表示为P(B)。
  • 条件概率的链式法则:
    P(A,B) = P(A) * P(B|A)
    如果A事件和B事件是互相独立,那么P(B|A)=P(B),其对应联合概率:
    P(A,B) = P(A) * P(B)
2. 贝叶斯公式

P(A|B) = P(B|A) * P(A) / P(B)
推导:
=> P(A,B) = P(A) * P(B|A)
=> P(B,A) = P(B) * P(A|B)
=> P(A,B) = P(B,A)
=> P(A) * P(B|A) = P(B) * P(A|B)
=> P(A|B) = P(B|A) * P(A) / P(B)
简单应用:比如有10个西瓜,西瓜有很多特征[圆/椭圆,平滑/粗糙],根据特征训练并判断分类标签[好瓜/坏瓜]。
P(标签|特征) = P(特征|标签) * P(标签) / P(特征)

朴素贝叶斯有一个很重要的假设:条件独立性,即特征之间是独立的,这也是贝叶斯“朴素”的原因,它将问题简化了。实际生活中很多特征之间大多都是有关系的。

3. 先验概率与后验概率

先验概率:标签的概率,比如上面西瓜分类中,好瓜标签的概率。
后验概率:在特征已知的情况下发生的概率,比如特征为圆且平滑的西瓜,它是好瓜的概率。

【贝叶斯分类器基本原理】
  • 贝叶斯决策论通过相关概率已知的情况下,利用误判损失来选择最优的类别分类。
    假设有N种可能的分类标记,记为Y = {c1, c2, c3, …, cN},那对于样本x,它属于哪一类呢?计算步骤如下:
    step1:算出样本x属于第i个类别的概率,即P(ci|x);
    step2:通过比较所有的P(ci|x),得到样本x所属的最佳类别;
    step3:将类别ci和样本x代入贝叶斯公式中,得到:
    P(ci|x) = P(x|ci) * P(ci) / P(x)
    其中,P(ci)为先验概率,P(x|ci)为条件概率,我们需要求的就是P(x|ci)条件概率。

  • 假设样本x包含d个属性,即x = {x1, x2, x3, …, xd},那么:
    P(x|ci) = P(x1, x2, x3, …, xd|ci)
    这个联合概率难以从有限训练样本中直接计算得到。朴素贝叶斯采用“属性条件独立性假设”,即假设所有的属性是相互独立的,那么:
    P(x|ci) = P(x1, x2, x3, …, xd|ci) = P(xj|ci)的乘积

  • 最终只需要对条件概率P(xj|ci)求解,即对各自特征属性的条件概率求解,按照条件概率公式,采用统计的方式求解:
    P(xj|ci) = P(xj, ci) / P(ci) = num(xj, ci) / num(ci)
    其中,num(xj, ci)表示训练样本中xj, ci同时出现的次数。

【实战案例】

西瓜训练集数据:https://download.csdn.net/download/LWY_Xing/13209988

对下面的测试数据进行分类:

计算过程:

  1. 计算标签的先验概率P(ci):
    P(好瓜=是) = 8 / 17 = 0.471
    P(好瓜=否) = 9 / 17 = 0.529
  2. 计算每个特征属性的条件概率:

    01.朴素贝叶斯介绍相关推荐

    1. 【076】朴素贝叶斯介绍

      内容目录(原文见公众号:python宝) 一.贝叶斯介绍二.高斯分布贝叶斯三.多项式分布贝叶斯四.伯努利分布贝叶斯 一.贝叶斯介绍 # 高斯分布就是正态分布 # [用途]用于一般分类问题 from s ...

    2. 【机器学习】朴素贝叶斯介绍及实例--对短信进行二分类 使用多项式分布

      贝叶斯 首先什么是贝叶斯? 一个例子,现分别有 A.B 两个容器,在容器 A 里分别有 7 个红球和 3 个白球,在容器 B 里有 1 个红球和 9 个白球,现已知从这两个容器里任意抽出了一个球,且是 ...

    3. 离线轻量级大数据平台Spark之MLib机器学习库朴素贝叶斯实例

      1.朴素贝叶斯介绍 表示事件B已经发生的前提下,事件A发生的概率,叫做事件B发生下事件A的条件概率,公式为: 贝叶斯定理: 从已知P(A|B)获得P(B|A)值. 假设A和B代表两类互相影响的事件,如 ...

    4. python人工智能——机器学习——分类算法-朴素贝叶斯算法

      1.概率基础 2.朴素贝叶斯介绍 概率基础 概率定义为一件事情发生的可能性 联合概率和条件概率 朴素贝叶斯-贝叶斯公式 拉普拉斯平滑 如果词频列表里面有很多出现次数都为0,则会导致计算结果为0. sk ...

    5. 贝叶斯 朴素贝叶斯_手动执行贝叶斯分析

      贝叶斯 朴素贝叶斯 介绍 (Introduction) Bayesian analysis offers the possibility to get more insights from your ...

    6. 机器学习面试题——朴素贝叶斯

      机器学习面试题--朴素贝叶斯 提示:这些知识点也是大厂笔试经常考的题目,我记得阿里和京东就考!!!想必在互联网大厂就会用这些知识解决实际问题 朴素贝叶斯介绍一下 朴素贝叶斯优缺点 贝叶斯公式 朴素贝叶 ...

    7. 朴素贝叶斯算法面试问题汇总

      自己救自己系列,不然我这个渣渣就要没工作了. 我只是个木得感情的搬运机器,以下内容都附有原链接地址,你不想我搬运的话,可以联系我删除好勒. 红色加粗是我见了好多次,感觉经常会考得点. 一.朴素贝叶斯介 ...

    8. 机器学习算法(7)—— 朴素贝叶斯算法

      朴素贝叶斯算法 1 朴素贝叶斯介绍 2 贝叶斯公式 3 拉普拉斯平滑系数 4 朴素贝叶斯api使用 5 朴素贝叶斯算法总结 5.1 朴素贝叶斯优缺点 5.2 朴素贝叶斯疑难点 5.3 与逻辑回归的区别 ...

    9. ML算法基础——分类算法(朴素贝叶斯)

      文章目录 朴素贝叶斯算法 1.概率基础 2.朴素贝叶斯介绍 3.朴素贝叶斯算法案例 3.1 sklearn朴素贝叶斯实现API 3.2 sklearn-20类新闻分类 3.3 朴素贝叶斯案例流程 4. ...

    最新文章

    1. 假装不知道有尽头(博弈论的诡计)
    2. 道医秘传,开通奇经八脉法!
    3. ASP.NET Web API Model-ModelBinder
    4. c++ 创建 mat
    5. Android 短信模块分析(四) MMS之短信的发送与接收
    6. JavaScript 字符串处理方法总结
    7. Directx11教程(55) 建立球形和锥形物体
    8. 当子查询内存在ORDER BY 字句时查询会报错
    9. Node.js学习(第一章:Node.js安装方法及模块化理解)
    10. 杀死提交的hadoop任务
    11. remote collaboration on physical tasks 应用
    12. 《机器视觉算法与应用》第3章 机器视觉算法之图像增强——学习笔记
    13. WinCC7.3 Win764位系统安装教程
    14. 关于Oracle统计中关于操作系统的统计说明,oracle10个/11g的新特点 自动工作量资料档案库(AWR) 文平...
    15. java文件拒绝访问权限_运行java文件,一直显示拒绝访问,谁知道哪里出了問題≥﹏≤...
    16. 计算机网络地址设置,如何设置电脑ip地址?电脑ip地址设置图文教程
    17. 计算机动画题目,3DMax2014计算机动画作业练习题
    18. 【DockerCE】RHEL 7.9完整安装DockerCE 20.10.5的包集合
    19. “当红不让,悦未来”,武汉环球广场与妳如约而至,共赴美好
    20. 开发日志:浏览器宽度大于400px,td的宽度按百分比自适应,小于400px时,宽度为指定的值

    热门文章

    1. Formality形式验证教程
    2. 三坐标检测之精密模具检测2021
    3. 连接交换机太讲究,很多网工总弄不明白
    4. 岁末回首,义无反顾!
    5. 成功股权激励方案的特点
    6. 安装配置绿色版MySQL5.6
    7. MOSFET开关原理
    8. C语言文件操作函数总结——超详细
    9. 20210223-21款Mac Pro M1安装ps和pr,个人实践有用,不需要付费,自己踩过的坑
    10. sketchup 图片转模型_Sketchup位图转模型插件安装包及视频教程