《机器学习》 周志华学习笔记第七章 贝叶斯分类器(课后习题)python 实现
课后习题答案
1.试用极大似然法估算西瓜集3.0中前3个属性的类条件概率。
好瓜有8个,坏瓜有9个
属性色泽,根蒂,敲声,因为是离散属性,根据公式(7.17)
P(色泽=青绿|好瓜=是) = 3/8
P(色泽=乌黑|好瓜=是) = 4/8
P(色泽=浅白|好瓜=是) = 1/8
P(根蒂=蜷缩|好瓜=是) = 5/8
P(根蒂=稍蜷|好瓜=是) = 3/8
。。。自己计算
另外看到这种,假定概率分布在连续属性上,离散属性直接进行上边的计算也可以
极大似然法要先假定一种概率分布形式。
色泽:
对于好瓜,假设
P(色泽=青绿|好瓜)=σ1σ1
P(色泽=乌黑|好瓜)=σ2σ2
P(色泽=浅白|好瓜)=σ3σ3=1−σ1−σ21−σ1−σ2
L(σ)=⋂iP(色泽=xi|好瓜)=σ31σ42(1−σ1−σ2)L(σ)=⋂iP(色泽=xi|好瓜)=σ13σ24(1−σ1−σ2)
L′(σ1)=σ42σ21(3−4σ1−3σ2)L′(σ1)=σ24σ12(3−4σ1−3σ2)
L′(σ2)=σ31σ32(4−4σ1−5σ2)L′(σ2)=σ13σ23(4−4σ1−5σ2)
令L′(σ1)=0,L′(σ2)=0′(σ1)=0,L′(σ2)=0得σ1=38σ1=38,σ1=12σ1=12,σ3=18σ3=18
可以看出σ1,σ2,σ3σ1,σ2,σ3分别对应他们在yangben中出现的频率。
2.试证明:条件独立性假设不成立时,朴素贝叶斯分类器任有可能产生最优分类器。
朴素贝叶斯分类器就是建立在条件独立性假设上的。当有不独立的属性时,假如所有yangben不独立的属性取值相同时分类也是相同的,那么此时朴素贝叶斯分类器也将产生最优分类器。
3.试编程实现拉普拉斯修正的朴素贝叶斯分类器,并以西瓜数据集3.0为训练集,并对“测1”进行分类。
python代码
https://github.com/makang101/machinelearning
4.试述防止下溢的可能方案。
对乘积取自然对数。采取自然对数进行处理不会有任何的损失,两条曲线增区间和减区间相同,并且在相同点上取得极值。
6.试编程实现AODE分类器,并以西瓜数据集3.0为训练集,并对“测1”进行分类。
简单起见 没有考虑连续属性。可按书中公式编写程序。python 代码实现
https://github.com/makang101/machinelearning/blob/master/chapter7bayesian/AODE.ipynb
《机器学习》 周志华学习笔记第七章 贝叶斯分类器(课后习题)python 实现相关推荐
- 《机器学习》 周志华学习笔记第四章 决策树(课后习题)python 实现
一.基本内容 1.基本流程 决策树的生成过程是一个递归过程,有三种情形会导致递归返回 (1)当前节点包含的yangben全属于同一类别,无需划分: (2)当前属性集为空,或是所有yangben在所有属 ...
- 《机器学习》 周志华学习笔记第六章 支持向量机(课后习题)python 实现
一. 1.间隔与支持向量 2.对偶问题 3.核函数 xi与xj在特征空间的內积等于他们在原始yangben空间中通过函数k(.,.)计算的结果. 核矩阵K总是半正定的. 4.软间隔与正则化 软间隔允许 ...
- 《机器学习》 周志华学习笔记第五章 神经网络(课后习题) python实现
1.神经元模型 2.感知机与多层网络 3.误差逆传播算法 (A)BP算法:最小化训练集D上的累积误差 标准BP算法:更新规则基于单个Ek推导而得 两种策略防止过拟合:(1)早停(通过验证集来判断,训练 ...
- 《机器学习》 周志华学习笔记第三章 线性模型(课后习题)python 实现
线性模型 一.内容 1.基本形式 2.线性回归:均方误差是回归任务中最常用的性能度量 3.对数几率回归:对数几率函数(logistic function)对率函数是任意阶可导的凸函数,这是非常重要的性 ...
- 《机器学习》周志华 学习笔记
<机器学习>周志华 学习笔记 第一章 绪论 1.1 引言 机器学习:致力于研究如何通过计算的手段,利用经验来改善系统自身的性能. 经验:"经验"通常以"数据& ...
- 机器学习-周志华-学习记录-第一章绪论
文章目录 绪论 一.什么是机器学习 二.基本术语 三.假设空间 四.归纳偏好 总结 参考链接 绪论 为了更早地适应研究生的生活,我决定重新学习周志华老师的机器学习这本书.同时也为了能够养成博客记录的习 ...
- 《机器学习》 周志华学习笔记第二章 模型评估与选择(课后习题)
模型选择与评估 一.内容 1.经验误差与过拟合 1.1 学习器在训练集上的误差称为训练误差(training error),在新样本上的误差称为泛化误差(generalizion error). 1. ...
- 《机器学习西瓜书》学习笔记——第七章_贝叶斯分类器_朴素贝叶斯分类器
朴素:特征条件独立:贝叶斯:基于贝叶斯定理. 朴素贝叶斯是经典的机器学习算法之一,也基于概率论的分类算法,属于监督学习的生成模型.朴素贝叶斯原理简单,也很容易实现,多用于文本分类,比如垃圾邮件过滤. ...
- 《机器学习》 周志华学习笔记第一章 绪论(课后习题)
最近需要学习机器学习,有一点点基础但是很少,希望能通过写博客的方式和大家交流以及学习达到共同进步的目的. 绪论 : 一.内容 1.基本术语 2.假设空间与版本空间 3.归纳偏好(常用的有奥卡姆剃刀) ...
最新文章
- 值得安利!推荐7款让人眼前一亮的宝藏软件
- linux下修改ssh默认的连接端口及禁止root远程连接等
- php隐藏webshell_【web端权限维持】利用ADS隐藏webshell
- Web 设计中的苹果风
- $(“#addLowForm“).serialize()同时提交其它参数的写法
- EDAS-机器导入失败
- B2B多商铺初期权限数据库设计
- flask—wtforms
- 故障:“远程计算机需要网络级别身份验证
- 连连看.NET v1.2版下载
- android内存泄露_Java应用程序中的内存泄漏及内存管理
- kafka传递文件_是否可以使用Kafka传输文件?
- 计算机二级(C语言)备考
- 学妹QQ被盗!我连夜用Python制作密码强度检查器!
- 《第一行代码》第三版之我的第一行Android代码(一)
- Stacer ---- Linux系统优化和监测工具
- Linux欧姆单位怎么打,电阻常识-younger0-ChinaUnix博客
- 鸿蒙时期人物排行榜,《永生》之战力排行榜,那些经典角色你还记得吗
- weblogic10 配置 domian
- IP-guard苹果加密软件苹果系统加密Mac文档加密软件
热门文章
- 命令行下的curl使用详解
- 6.1 图的深度优先和广度优先搜索
- 什么是DNS,A记录,子域名,CNAME别名,MX记录,TXT记录,SRV 记录,TTL值
- 防抖和节流(白话版)
- (十)数据结构之“堆”
- Some Essential JavaScript Questions And Answers(2)
- Syntax Error: Error: Node Sass version 6.0.1 is incompatible with ^4.0.0.
- html 前端分页代码怎么写,前端js写分页
- Debian 9 中设置网络
- 浅析微信支付:微信支付简单介绍(小程序、公众号、App、H5)