第4章朴素贝叶斯法

朴素贝叶斯 (naive Bayes) 法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出Y。

4.1 朴素贝叶斯法的学习与分类

基本方法

朴素贝叶斯法通过训练数据集学习X和Y的联合概率分布

P(X,Y)。

具体地，学习以

下先验概率分布及条件概率分布。

先验概率分布

条件概率分布

条件概率分布有指数级数量的参数，其估计实际是不可行的。朴素贝叶斯法对条件概率分布作了条件独立性的假设。条件独立性假设是说用于分类的特征在类确定的条件下都是条件独立的。

朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型。

朴素贝叶斯法通过最大后验概率(MAP)准则进行类的判决，基于贝叶斯定理，后验概率为：

分母相同，则分类器可表示为

后验概率最大化等价于0-1损失函数时的期望风险最小化。

4.2 朴素贝叶斯法的参数估计

极大似然估计

先验概率的极大似然估计：

设第j个特征x^(j)可能取值的集合为

，条件概率的极大似然估计：

总结算法：

贝叶斯估计

用极大似然估计可能会出现所要估计的概率值为0的情况，使分类产生偏差，解决这一问题的方法是采用贝叶斯估计。条件概率的贝叶斯估计为：

式中lamda>=0。等价于在随机变量各个取值的频数上赋予一个正数。常取lamda=1，称为拉普拉斯平滑( Laplace smoothing)。同样，先验概率的贝叶斯估计为：

统计学习方法第四章朴素贝叶斯法-李航相关推荐

机器学习理论《统计学习方法》学习笔记：第四章朴素贝叶斯法
机器学习理论<统计学习方法>学习笔记:第四章朴素贝叶斯法 4 朴素贝叶斯法 4.1 朴素贝叶斯法的学习与分类 4.1.1 基本方法 4.1.2 后验概率最大化的含义 4.2 朴素贝叶斯法 ...
《统计学习方法》读书笔记——朴素贝叶斯法（公式推导+代码实现）
传送门 <统计学习方法>读书笔记--机器学习常用评价指标 <统计学习方法>读书笔记--感知机(原理+代码实现) <统计学习方法>读书笔记--K近邻法(原理+代码实现 ...
《统计学基础》——第四章(朴素贝叶斯)
文章目录 1. 朴素贝叶斯法的学习与分类 1.1 基本方法 1.2 后验最大化含义 2. 朴素贝叶斯的参数估计 2.1 公式推导 3. 面试常见问题 3.1 朴素贝叶斯与LR的区别? 3.2 在估计条 ...
《机器学习实战》学习笔记之第四章朴素贝叶斯进行文档分类
朴素贝叶斯有两个假设: 1."朴素":特征之间相互独立,单词出现的概率相同,当然这个假设不合理 2."权重相同":每个特征等同重要,这个假设也不太合理尽管如此 ...
第四章朴素贝叶斯-垃圾邮件过滤
#朴素贝叶斯之垃圾邮件过滤 import os #----------------------1.获取数据集----------------------- import pandas as pd''' ...
朴素贝叶斯法分类器的Python3 实现
本篇文章是我在读了李航的<统计学习方法>后手写的算法实现之一原理请参考统计学习方法第四章朴素贝叶斯法-李航代码如下: # - * - coding: utf - 8 -*- # # 作 ...
李航（统计学习方法第四章）
第四章朴素贝叶斯法朴素贝叶斯法和贝叶斯估计是不同的概念. 基于特征条件独立假设学习输入输出联合概率分布基于此模型给出后验概率最大的输出y 本章叙述: 朴素贝叶斯法学习与分类参数估计算法 4. ...
统计学习方法笔记（李航）———第四章（朴素贝叶斯法）
推荐阅读:小白之通俗易懂的贝叶斯定理(Bayes' Theorem) 朴素贝叶斯法是一种多分类算法,它的基础是"朴素贝叶斯假设"(假设实例的各个特征具有条件独立性).根据训练集估计 ...
复现经典：《统计学习方法》第 4 章朴素贝叶斯
本文是李航老师的<统计学习方法>[1]一书的代码复现. 作者:黄海广[2] 备注:代码都可以在github[3]中下载. 我将陆续将代码发布在公众号"机器学习初学者", ...

统计学习方法第四章朴素贝叶斯法-李航

第4章朴素贝叶斯法

4.1 朴素贝叶斯法的学习与分类

4.2 朴素贝叶斯法的参数估计

统计学习方法第四章朴素贝叶斯法-李航相关推荐

最新文章

热门文章

统计学习方法第四章朴素贝叶斯法-李航

第4章 朴素贝叶斯法

4.1 朴素贝叶斯法的学习与分类

4.2 朴素贝叶斯法的参数估计

统计学习方法第四章朴素贝叶斯法-李航相关推荐

最新文章

热门文章

第4章朴素贝叶斯法