林轩田机器学习基石Lecture 6: Theory of Generalization

2024-05-15 08:20:14

@Lecture 6: Theory of Generalization

Restriction of Break Point

确定假设H的成长函数是限定的，也就是H关于样本个数N的成长函数，如果mH(N)<2N,则存在break point

H的个数要满足任意k个point不能完全shatter的条件

Bounding Function: Basic Cases

扩展到无论分类规则是什么，证明B（N,K)都远小于N的多项式
B（N,K）满足:B(N,1）=1，当N<K时，B（N,K）=2的N次方，当N=K时，B（N,K）=2的N次方-1
注意，B是mH的上限，不一定相等

Bounding Function: Inductive Cases

继续填表，求B（4，3），看B(4,3)和B（3，？）的关系

分开看a+beta 和a的限制
因此，放缩后就可以得到B（N,K）的上界

相当于经过上述证明，我们找到了H的成长函数mH的上限函数的上限，由此证明出来mH是远小于2的N次方的，会被N的多次项函数bound住

A Pictorial Proof

把mH会被N的多项式bound住代到坏事情发生的公式里面

第一步，因为上图公式里面的Eout(h)是一个未知的，需要替换掉，思路，拿在in的数据里面的再次取样得到的E’in代换Eout，因为Ein的概率期望为Eout

第二步，使用mH来衡量坏事发生概率的重叠度

第三步通过抽样还替换

到这里就证明了随着在2维空间的判别问题上，只要存在break point,H的个数会被bound住，Ein和Eout的差距也会被bound住，也就是说N的个数足够大时，Ein和Eout的值相差不会太大，选看到的样本上的Ein最小的h,在看不到的数据上的表现应该也是比较好的,机器学习算法PLA可行。

林轩田机器学习基石Lecture 6: Theory of Generalization相关推荐

林轩田机器学习基石笔记6 - Theory of Generalization
Restriction of Break Point 四个成长函数与break point: 假设一个hypotheses,它的break point是2.那么当N=1的时候可以取到两个dichoto ...
台大林轩田·机器学习基石记要
台大林轩田·机器学习基石记要昨天开始看林轩田的机器学习基石,从今天起开始去粗取精第一讲比较基础,一些概念自己早已经理解了,所以不再做笔记,有点印象的是讲到了ML.DL.AI的一些联系与区别,ML主 ...
台湾大学林轩田机器学习基石课程学习笔记13 -- Hazard of Overfitting
红色石头的个人网站:redstonewill.com 上节课我们主要介绍了非线性分类模型,通过非线性变换,将非线性模型映射到另一个空间,转换为线性模型,再来进行分类,分析了非线性变换可能会使计算复杂度 ...
林轩田机器学习基石（Machine Learning Foundations）笔记（一）
要求两周之内看完林轩田机器学习基石和技法,速度是要的,但是感觉看得太快我会不久就会忘记.因此记录一下梗概,顺便写写看视频时解决的不懂的地方(有种思想就是把知识传播给更多人,有时候就是靠大佬们善意的一句 ...
台湾大学林轩田机器学习基石课程学习笔记资料汇总
笔记: 红色石头的专栏(写得非常好) 课后练习: 機器學習基石(Machine Learning Foundations) 机器学习基石课后习题链接汇总 https://download.csdn. ...
机器学习系列笔记：林轩田机器学习基石——机器学习的可行性
机器学习系列笔记:林轩田机器学习基石--机器学习的可行性
台湾大学林轩田机器学习基石课程学习笔记6 -- Theory of Generalization
红色石头的个人网站:redstonewill.com 上一节课,我们主要探讨了当M的数值大小对机器学习的影响.如果M很大,那么就不能保证机器学习有很好的泛化能力,所以问题转换为验证M有限,即最好是按照 ...
台湾大学林轩田机器学习基石课程学习笔记14 -- Regularization
红色石头的个人网站:redstonewill.com 上节课我们介绍了过拟合发生的原因:excessive power, stochastic/deterministic noise 和limited ...
台湾大学林轩田机器学习基石课程学习笔记1 -- The Learning Problem
红色石头的个人网站:redstonewill.com 最近在看NTU林轩田的<机器学习基石>课程,个人感觉讲的非常好.整个基石课程分成四个部分: When Can Machine Lear ...

最新文章

热门文章