【机器学习-周志华】学习笔记-第七章
记录第一遍没看懂的
记录觉得有用的
其他章节:
第一章
第三章
第五章
第六章
第七章
第八章
第九章
第十章
十一章
十二章
十三章
十四章
十五章
十六章
第七章的前提:所有相关概率都已知
7.1节首先定义了条件风险(公式7.1),然后把每一个样本的条件风险的数学期望表达了出来(公式7.2),然后返回来定义使得每个样本达到最小的分类器记录下来(公式7.3)。
极大似然估计
极大似然估计是要先假设参数服从一个先验分布。可以看公式(7.12)(7.13)对应的例子,他假设了概率密度函数复制高斯分布,而高斯分布形式为:p(x)=(2πσ2)−12exp(−(x−μ)22σ2)p(x)=(2\pi\sigma^2)^{-\dfrac{1}{2}}exp(-\dfrac{(x-\mu)^2}{2\sigma^2})p(x)=(2πσ2)−21exp(−2σ2(x−μ)2)。因此,相当与把高斯分布的表达式代入(7.10)之中,去解(7.11)中的问题。首先代入可得:
LL(θc)=∑x∈Dclog(pθc(x))=∑x∈Dclog((2πσc2)−12exp(−(x−μc)22σc2))=∑x∈Dc−12log2πσc2−(x−μc)22σc2LL(\theta_c)=\sum_{x\in D_c}log(p\theta_c(x))=\sum_{x\in D_c} log((2\pi\sigma^2_c)^{-\dfrac{1}{2}}exp(-\dfrac{(x-\mu_c)^2}{2\sigma^2_c }))=\sum_{x\in D_c}-\dfrac{1}{2}log2\pi\sigma^2_c-\dfrac{(x-\mu_c)^2}{2\sigma^2_c } LL(θc)=x∈Dc∑log(pθc(x))=x∈Dc∑log((2πσc2)−21exp(−2σc2(x−μc)2))=x∈Dc∑−21log2πσc2−2σc2(x−μc)2
然后是求偏导等于0:
∂LL/∂μc=∑x∈Dc−(x−μc)/σc2=0⇒∑x∈Dcx=∑x∈Dcμc∂LL/∂σc2=∑x∈Dc−12σc2+(x−μc)22(σc2)2=0⇒∑x∈Dcσc2=∑x∈Dc(x−μc)2\partial LL/\partial \mu_c = \sum_{x\in D_c}-(x-\mu_c)/\sigma^2_c = 0 \rArr \sum_{x\in D_c}x= \sum_{x\in D_c} \mu_c\\ \partial LL/\partial \sigma^2_c = \sum_{x\in D_c}-\dfrac{1}{2\sigma^2_c }+\dfrac{(x-\mu_c)^2}{2(\sigma^2_c)^2 }=0 \rArr \sum_{x\in D_c}\sigma^2_c= \sum_{x\in D_c} (x-\mu_c)^2\\ ∂LL/∂μc=x∈Dc∑−(x−μc)/σc2=0⇒x∈Dc∑x=x∈Dc∑μc∂LL/∂σc2=x∈Dc∑−2σc21+2(σc2)2(x−μc)2=0⇒x∈Dc∑σc2=x∈Dc∑(x−μc)2
即,参数最大似然估计为:
朴素贝叶斯分类器
核心:假设所有属性相互独立,有
对于离散属性:
对于连续属性:
EM算法
在已知xxx和上一步的Θt\Theta^tΘt的条件之下,隐变量ZZZ的数学期望:
【机器学习-周志华】学习笔记-第七章相关推荐
- 《机器学习》 周志华学习笔记第七章 贝叶斯分类器(课后习题)python 实现
课后习题答案 1.试用极大似然法估算西瓜集3.0中前3个属性的类条件概率. 好瓜有8个,坏瓜有9个 属性色泽,根蒂,敲声,因为是离散属性,根据公式(7.17) P(色泽=青绿|好瓜=是) = 3/8 ...
- 《机器学习》 周志华学习笔记第六章 支持向量机(课后习题)python 实现
一. 1.间隔与支持向量 2.对偶问题 3.核函数 xi与xj在特征空间的內积等于他们在原始yangben空间中通过函数k(.,.)计算的结果. 核矩阵K总是半正定的. 4.软间隔与正则化 软间隔允许 ...
- 《机器学习》 周志华学习笔记第五章 神经网络(课后习题) python实现
1.神经元模型 2.感知机与多层网络 3.误差逆传播算法 (A)BP算法:最小化训练集D上的累积误差 标准BP算法:更新规则基于单个Ek推导而得 两种策略防止过拟合:(1)早停(通过验证集来判断,训练 ...
- 《机器学习》 周志华学习笔记第四章 决策树(课后习题)python 实现
一.基本内容 1.基本流程 决策树的生成过程是一个递归过程,有三种情形会导致递归返回 (1)当前节点包含的yangben全属于同一类别,无需划分: (2)当前属性集为空,或是所有yangben在所有属 ...
- 《机器学习》 周志华学习笔记第三章 线性模型(课后习题)python 实现
线性模型 一.内容 1.基本形式 2.线性回归:均方误差是回归任务中最常用的性能度量 3.对数几率回归:对数几率函数(logistic function)对率函数是任意阶可导的凸函数,这是非常重要的性 ...
- 《机器学习》周志华 学习笔记
<机器学习>周志华 学习笔记 第一章 绪论 1.1 引言 机器学习:致力于研究如何通过计算的手段,利用经验来改善系统自身的性能. 经验:"经验"通常以"数据& ...
- 机器学习-周志华-学习记录-第一章绪论
文章目录 绪论 一.什么是机器学习 二.基本术语 三.假设空间 四.归纳偏好 总结 参考链接 绪论 为了更早地适应研究生的生活,我决定重新学习周志华老师的机器学习这本书.同时也为了能够养成博客记录的习 ...
- 《机器学习》 周志华学习笔记第二章 模型评估与选择(课后习题)
模型选择与评估 一.内容 1.经验误差与过拟合 1.1 学习器在训练集上的误差称为训练误差(training error),在新样本上的误差称为泛化误差(generalizion error). 1. ...
- 《机器学习》 周志华学习笔记第一章 绪论(课后习题)
最近需要学习机器学习,有一点点基础但是很少,希望能通过写博客的方式和大家交流以及学习达到共同进步的目的. 绪论 : 一.内容 1.基本术语 2.假设空间与版本空间 3.归纳偏好(常用的有奥卡姆剃刀) ...
- 《机器学习》 周志华学习笔记第十四章 概率图模型(课后习题)python实现
一.基本内容 1.隐马尔可夫模型 1.1. 假定所有关心的变量集合为Y,可观测变量集合为O,其他变量集合为R, 生成式模型考虑联合分布P(Y,R,O),判别式模型考虑条件分布P(Y,R|O),给定一组 ...
最新文章
- 3、 AUTO_INCREMENT:主键自增长
- 红米pro android 7,消费降级?红米Redmi Note 7Pro开箱以及简评
- 基于计算机网络的可持续发展信息共享情况调查
- HDU 6030 Happy Necklace
- 《设计模式》-模板模式
- mongodb聚合操作之group
- cef linux 多线程模式,CEF3开发者系列之进程和线程
- 形容java工作者的句子_形容工作态度的句子
- 解决办法之Duplicate entry ‘1‘ for key ‘PRIMARY‘
- WinForm中使用Win10 蓝牙Ble Sdk
- Android开发系统应用程序
- 微程序与微指令和微命令
- 算法笔记-CDQ分治
- Chatgpt到底有多牛?
- 山西计算机一级考试试题,2014山西省计算机等级考试试题 二级C试题一点通科目一...
- 最新天气预报接口【2015-05-14改】
- scapy构造IP分片包
- oZone3D FurMark(甜甜圈furmark显卡压力测试软件)绿色单文件版V1.9.2 | 电脑烤机测试软件
- LT Spice XVII无源滤波器设计。
- Mysql忘记密码 ERROR 1045 (28000): Access denied for user ‘root‘@‘localhost‘ (using passwor:yes)