机器学习（西瓜书）注解：第12章 计算学习理论
机器学习（西瓜书）注解：第12章 计算学习理论
本次更新第12章，计算学习理论。针对该章注解有任何问题欢迎在此留言~
相信本章是很多读者望而却步的一章，相信本章是很多以本书为教材的老师在讲课时会直接跳过的一章，相信本章是很多资深机器学习研究者都不予理睬的一章……
但既然已经入了机器学习这个坑，总感觉如果不去了解一点儿有关本章的内容，少点什么似的……
本章前两节介绍概念，12.3节讨论有限假设空间的泛化误差界；但现实学习任务所面临的通常是无限假设空间，因此12.4节基于VC维讨论无限假设空间的泛化误差界；但基于VC维的泛化误差界是分布无关、数据独立的，因此12.5节继续基于Rademacher复杂度讨论泛化误差界；但无论是基于VC维还是Rademacher复杂度的泛化误差界，所得到的结果均与具体学习算法无关，因此12.6节继续基于稳定性(stability)讨论泛化误差界。
本章很多内容参考了[Mohri et al., 2012]，可以使用bing或google搜索该书的PDF版；该书2018年已出第2版，官网https://cs.nyu.edu/~mohri/mlbook/即可下载；该书第1版已有中译版，参见[张文生 等译. 机器学习基础. 机械工业出版社，2019.]。
本章不但理论抽象，公式也很多，注解中可能存在很多错误，欢迎留言交流~
（网盘链接：https://pan.baidu.com/s/1QtEiNnk8jMzmbs0KPBN-_w）
第 12 章目录
第 12 章 计算学习理论...................................................................................................................1
12.1 基础知识..........................................................................................................................1
1、式(12.1)的解释...........................................................................................................1
2、式(12.2)的解释...........................................................................................................1
3、式(12.3)的解释...........................................................................................................1
4、 Jensen 不等式的解释 .................................................................................................1
5、 Hoeffding 不等式的解释 ...........................................................................................2
6、 McDiarmid 不等式的解释 .........................................................................................3
12.2 PAC 学习 ..........................................................................................................................3
12.3 有限假设空间..................................................................................................................4
1、式(12.10)的解释 .........................................................................................................4
2、式(12.11)的解释 .........................................................................................................4
3、式(12.12)的推导 .........................................................................................................4
4、式(12.13)的解释 .........................................................................................................5
5、式(12.14)的推导 .........................................................................................................5
6、引理 12.1 的解释........................................................................................................5
7、式(12.18)的推导 .........................................................................................................5
8、定理 12.1 的推导........................................................................................................6
9、定义 12.5 的解释........................................................................................................7
12.4 VC 维 ................................................................................................................................7
1、式(12.21)的解释.........................................................................................................7
2、定理 12.2 的解释........................................................................................................7
3、式(12.23)的解释 .........................................................................................................8
4、引理 12.2 证明的解释................................................................................................8
5、推论 12.2 证明的解释..............................................................................................10
6、定理 12.3 证明的解释..............................................................................................11
7、定理 12.4 证明的解释[?] .........................................................................................11
12.5 Rademacher 复杂度........................................................................................................12
1、式(12.36)的解释.......................................................................................................13
2、式(12.37)的解释.......................................................................................................13
3、式(12.38)的解释.......................................................................................................13
4、式(12.39)的解释.......................................................................................................14
5、定义 12.8 的解释......................................................................................................15
6、定义 12.9 的解释......................................................................................................15
7、定理 12.5 的解释......................................................................................................15
8、定理 12.5 的证明[?] .................................................................................................15
9、定理 12.6 的解释......................................................................................................18
10、定理 12.6 的证明....................................................................................................18
11、定理 12.7 的证明....................................................................................................18
12、式(12.53)的推导 .....................................................................................................20
12.6 稳定性............................................................................................................................20
1、泛化/经验/留一损失的解释.....................................................................................20
2、定义 12.10 的解释....................................................................................................20
3、定理 12.8 的解释......................................................................................................20
4、经验损失最小化.......................................................................................................21
5、定理 12.9 的证明的解释[?] .....................................................................................21
12.7 本章小节........................................................................................................................22
机器学习（西瓜书）注解：第12章 计算学习理论相关推荐
- 机器学习-西瓜书第一、二章
第一章:绪论 基本概念 数据集:所有数据的集合 训练集:训练样本的集合 属性(特征):某事物或对象在某方面表现的性质 属性值:属性的取值 属性空间/样本空间/输入空间:属性张成的空间 泛化能力:学得模 ...
- 机器学习西瓜书-1-2章
学习目标: 概览机器学习西瓜书 1.2章 学习内容: 第一章 绪论 1.1 基本术语 1.2 假设空间 1.3 归纳偏好 1.4 发展历程 第二章 模型评估与选择 2.1 经验误差与过拟合 2.2 评 ...
- 小白学机器学习西瓜书-第三章对数几率回归
小白学机器学习西瓜书-第三章对数几率回归 3.3 对数几率回归 3.3.1 对数几率函数 3.3.1 估计参数 上一部分我们介绍了线性回归,包括简单的二元回归和多元回归,这两个主要解决的是拟合预测的问 ...
- 机器学习西瓜书（周志华）第七章 贝叶斯分类器
第七章 贝叶斯分类器 1. 贝叶斯决策论 1.1 先验分布 1.2 后验分布 1.3 似然估计 1.4 四大概率在贝叶斯分类中指代含义 1. 朴素贝叶斯 7. 课后练习参考答案 1. 贝叶斯决策论 贝 ...
- 周志华-机器学习西瓜书-第三章习题3.3 编程实现对率回归
本文为周志华机器学习西瓜书第三章课后习题3.3答案,编程实现对率回归,数据集为书本第89页的数据 使用tensorflow实现过程 # coding=utf-8 import tensorflow a ...
- 机器学习（西瓜书）——第三章线性模型（知识点思维导图）
机器学习(西瓜书)--第三章线性模型(知识点思维导图) 这章难点在于线性判别分析和对数几率回归的理解与实践,这里只是给大家梳理了一下思路. 大家在学习的时候可以利用sklearn中的线性模型来进行尝试 ...
- 机器学习西瓜书各章详细目录定位
第一章 绪论 1.1 引言(P1) 1.2 基本术语(P2) 1.3 假设空间(P4) 1.4 归纳偏好(P6) 1.5 发展历程(P10) 1.6 应用现状(P13) 1.7 阅读材料(P16) ...
- 西瓜书研读——第五章 神经网络：BP神经网络
西瓜书研读系列: 西瓜书研读--第三章 线性模型:一元线性回归 西瓜书研读--第三章 线性模型:多元线性回归 西瓜书研读--第三章 线性模型:线性几率回归(逻辑回归) 西瓜书研读--第三章 线性模型: ...
- 浅读西瓜书（第四章）
浅读西瓜书(第四章) 4.1基本流程 决策树,顾名思义,肯定与做决策有关.实际上决策树既可以做决策也可以做回归.在我们生活中其实也经常用到决策树的模型.比如猜数字的游戏.给出一个数字,猜想者猜测一 ...
最新文章
- 博客堂也遇DotText经典Exception
- 系统间通信——dubbo
- 使用XML创建Excel文档
- uniapp启动页，底部虚拟按钮向上闪一下的问题
- shiro解决一个账号异地登录的问题
- SublimeText设置在浏览器打开 快捷键
- xms和xmx为什么要相同_股民为什么要做股票配资？
- 【OpenCV CUDA】OpenCV和Cuda结合编程
- 基于multisim的电子秒表
- Win10如何使用命令释放IP和重新获取新IP
- 微信多开源码 android,微信(WeChat)电脑端多开分析+源码
- IEEE1588精密网络同步时钟协议（PTP）-v2.0协议浅析
- Ubuntu常用命令
- java闪光灯手电筒_Android_Android 开启闪光灯做手电筒的详解，复制代码 代码如下:public class H - phpStudy...
- win10版本的共享网络，以及HP LaserJet 1020的共享打印机总结
- 怎样使用计算机操作,鼠标操作怎么用？电脑鼠标操作图文教程
- 返乡之路不容易之12306余票查询并给出备选方案v2
- excel怎么添加换行符_在Excel公式中添加换行符
- 昆山杜克大学计算机专业,昆山杜克大学有哪些专业 附特色重点专业名单
- php微信开放平台获取openid,微信公众平台获取openid