【Abee】吃掉西瓜——西瓜书学习笔记（六）
贝叶斯分类器
目录
【内容包含 第七章】
贝叶斯决策论（Bayes decision theory）
极大似然估计（Maximum Likelihood Estimation，MLE）
朴素贝叶斯分类器（naive Bayes classifier）
半朴素贝叶斯分类器
贝叶斯网
道德图（moral graph）
贝叶斯网学习
贝叶斯网推断
EM算法（Expectation-Maximization）
贝叶斯决策论（Bayes decision theory）
目标：最小化总体风险（基于代价的条件风险(conditional risk)）
此时h*成为贝叶斯最优分类器（Bayes optimal classifier）
目标：最小化分类错误率（是最小化总体风险的子类）
此时代价可写作
由贝叶斯定理，后验概率正比于先验概率和样本x关于标记c的类条件概率的乘积，由大数定律，训练集包含足够的独立同分布样本时，先验概率可以用样本出现频率估计，类条件概率的估计比较困难。
极大似然估计（Maximum Likelihood Estimation，MLE）
对于参数估计(parameter estimation)，频率主义学派（Frequentist）认为参数是未知、客观存在的固定值，贝叶斯学派（Bayesian）认为参数是未观察到的随机变量，本身也有分布。极大似然估计是频率主义学派的一个方法。
对数似然为
参数的极大似然估计为
为
朴素贝叶斯分类器（naive Bayes classifier）
采用属性条件独立性假设，朴素贝叶斯表达式
可以用样本频率来估计，
可以估计为标记为c的样本中在第i个属性上取值为xi的集合与标记为c的样本的比值，如果是连续属性的话可以考虑概率密度函数（书里整理了西瓜的案例，非常简单易懂）
半朴素贝叶斯分类器
和朴素贝叶斯的区别在于半朴素贝叶斯不采用属性独立假设，而是放宽了对属性的要求，比如假设每个属性最多依赖一个别的属性。
可以认为所有属性都依赖同一个属性，然后交叉验证，选取出这个属性（Super-Parent ODE 方法）。也可以使用TAN（Tree Augmeted naive Bayes）将属性间的关系构建完全图，并构建最大带权生成树，保留强相关属性之间的依赖性。AODE是一种集成学习机制，将每个属性作为super-parent的SPODE的结果集成。
贝叶斯网
借助有向无环图（Directed Acyclic Graph，DAG）使用条件概率表（Conditional ）描述属性的联合概率分布。
可以直接根据网的结构判断联合概率分布的表达式，每个属性与他的非后裔属性独立。
道德图（moral graph）
1.将所有的V型结构的父节点相连
2.将所有有向边无向化
道德图可以轻松得到各属性的条件独立关系
贝叶斯网学习
如果网络结构已知，只需计算各节点条件概率表即可，若网络结构未知，需要指定评分函数（score function）确定网络结构，选择综合编码长度最短的贝叶斯网，即 最小描述长度（Minimal Description Length，MDL）准则。
以上公式第一项体现最短编码，第二项体现贝叶斯网的对数似然，当f(θ)取0时退化为极大似然估计。
贝叶斯网推断
贝叶斯网构建完成后可以进行属性查询，就是已知一些属性求解另一些属性（比如分类标记也可以作为一种属性）。理想情况下可以使用贝叶斯网的联合概率分布精确地计算后验概率，为了追求效率可以“近似推断”，使用吉布斯采样（Gibbs sampling）。
吉布斯采样算法首先使得证据变量不变（相当于已知变量不变），然后在未知变量随机一个初始值，在这个基础上在这个初始值上每次改变一个属性的取值（按照已知数据和条件概率，值未必真的改变了），进行T次采样，那么其中未知属性Q符合待求值q的有n个，后验概率近似等于n/T。
这件事情其实是在贝叶斯网所有变量联合状态空间与证据一致的子空间中进行 随机漫步（random walk），每一步仅依赖前一步的状态，是一个 马尔科夫链（Markov chain）。当t无穷大的时候马尔科夫链可以收敛于一个平稳分布。
EM算法（Expectation-Maximization）
当训练样本不完整时，可以使用em算法估计参数隐变量。
1.基于模型参数推断隐变量z的期望
2.基于已观测变量x和z对参数做极大似然估计
【Abee】吃掉西瓜——西瓜书学习笔记（六）相关推荐
- 西瓜书学习笔记第2章（模型评估与选择）
西瓜书学习笔记第2章(模型评估与选择) 2.1经验误差与过拟合 2.2评估方法 2.2.1留出法(hold-out) 2.2.2交叉验证法(cross validation) 2.2.3自助法(boo ...
- 周志华西瓜书学习笔记(一)
周志华西瓜书学习笔记 第一章 绪论 数据处理分为三个阶段:收集,分析,预测. 一.基本概念 机器学习致力于研究如何通过计算的手段,利用经验来改善系统自身的性能. Mitchell给出的更形式化的定义为 ...
- 西瓜书--学习笔记1
西瓜书–学习笔记1 第一章 1.分类和回归是监督学习的代表,而聚类是无监督学习的代表. 2.归纳和演绎是科学推理的两大基本手段. 归纳:从特殊到一般的"泛化"过程,即从具体的事实归 ...
- Ethernet/IP 学习笔记六
Ethernet/IP 学习笔记六 EtherNet/IP defines two primary types of communications: explicit and implicit (Ta ...
- 吴恩达《机器学习》学习笔记六——过拟合与正则化
吴恩达<机器学习>学习笔记六--过拟合与正则化 一. 过拟合问题 1.线性回归过拟合问题 2.逻辑回归过拟合问题 3.过拟合的解决 二. 正则化后的代价函数 1.正则化思想 2.实际使用的 ...
- ROS学习笔记六：理解ROS服务和参数
ROS学习笔记六:理解ROS服务和参数 主要介绍ROS服务和参数,同时使用命令行工具rosservice和rosparam. ROS service service是节点之间互相通信的另一种方式,se ...
- opencv 手选roi区域_【opencv学习笔记六】图像的ROI区域选择与复制
图像的数据量还是比较大的,对整张图片进行处理会影响我们的处理效率,因此常常只对图像中我们需要的部分进行处理,也就是感兴趣区域ROI.今天我们来看一下如何设置图像的感兴趣区域ROI.以及对ROI区域图像 ...
- JS学习笔记六：js中的DOM操作
1. JS学习笔记六:js中的DOM操作 文章目录 1. JS学习笔记六:js中的DOM操作 1.1. 获取Dom节点 1.2. 元素属性的操作方式 1.3. DOM节点的创建.插入和删除 1.4. ...
- Python学习笔记六——画小猪佩奇
目录 Python学习笔记六--画小猪佩奇 画布 画笔 属性设置 操纵命令 运动命令 画笔控制命令 全局控制命令 其他命令 Python学习笔记六--画小猪佩奇 使用Python的turtle库可以绘 ...
- Learning ROS for Robotics Programming Second Edition学习笔记(六) indigo xtion pro live
中文译著已经出版,详情请参考:http://blog.csdn.net/ZhangRelay/article/category/6506865 Learning ROS for Robotics Pr ...
最新文章
- 世道变了！这个AI竞赛不再要刷榜成绩，直接看商业落地计划书
- Tomcat 7 DBCP 配置（MySQL）
- 删除目录软链接注意事项
- delphi 调用php接口_《细说PHP》第四版 样章 第23章 自定义PHP接口规范 5
- 苹果内地最大代工厂被曝大幅裁员！这家库克曾点赞的企业怎么了？
- Java JDBC c3p0
- MOSS中如何自定义WebService
- 传输层协议TCP和UDP
- Android 百度地图开发（二）--- 定位功能之MyLocationOverlay，PopupOverlay的使用
- 简单 常用的git命令
- wegame显示密保服务器,wegame英雄联盟怎么选定大区
- 扩展spring之ext-spring-cache
- ubuntu 18.04 配置深度学习环境
- 不知道时光机特效什么软件好？这几个时光机特效软件安利给你
- 玩转华为数据中心交换机系列 | 配置基于MAC地址划分VLAN示例
- [iPhone]解决：手指按住不动时，屏幕也会上下抖动
- 【自动化】车间自动化十大必备装置！
- listview qt 选中内容_演练: 操作Qt应用中的QListView
- Ubuntu-Base 18 文件系统 在iMX8平台上的移植
- 专精特新中小企业认定标准