无限的hypotheses 变成有限的dichotomies

给定任意D，它是某些H的Bad Sample（即E_in和E_out不接近）的概率为：

即H中备选函数的数量M=|H|越少，样本数据量N越大，则样本成为坏样本的概率越小。在一个可接受的概率水平上，学习算法A只需要挑选那个表现最好的h作为g就行了。

挑选出最好的g需要满足两个条件：找到一个假设g使得E_out(g)和E_in(g)是非常接近的，使得E_in(g)足够小，

下面是BAD和M的关系：

因此选择一个合适的M是非常重要的，需要用一个有限的值m来替代一个非常无限的值M

思路：overlapping for similar hypotheses h1 ≈ h2 ，它们的E_in(h₁)≈E_in(h₂),E_out(h₁)≈E_out(h₂)(比如说PLA中的两条直线，相邻的很近的直线)=>union bound over-estimating

to account for overlap,we can group similar hypotheses by kind

h对D的一个Dichotomy(二分):备选函数集中的每一个函数h都是输入X到输出Y的一个映射：H={hypothesis h:X->{×,Ο}}将h(x1,x2,...,xN)=(h(x₁),h(x₂),...,h(x_N))∈{×,Ο}^N其中H(x₁,x₂,...,x_N)包含了所有对D的dichotomies。

hypotheses H 和dichotomies H(x₁,x₂,...,x_N)的区别：

growth function: remove dependence by taking max of all possible (x₁, x₂, . . . , x_N)

4个成长函数

break point：有k个输入，如果它不能被当前的备选函数集H shatter，那么k就是H的一个Break Point

转载于:https://www.cnblogs.com/nolonely/p/6163720.html

无限的hypotheses 变成有限的dichotomies相关推荐

世界是有限的还是无限的？
茶余饭后与朋友交谈突然谈到这个问题,世界这里就代表我们所说的宇宙.宇宙到底是有限的还是无限的.如果用严格的数学思维来证明无非就是两种情况,用假设验证法证明.假设宇宙是有限的,那么我们肯定能找到一个边界 ...
有限产能与无限产能排程，你看懂了吗？
很多人会把能力规划与制造过程联系在一起,实际上,能力规划是规划和安排涉及有限资源利用的各个部门的可行选择和工具. 有限容量规划和无限容量规划各有优缺点,对任何特定方法或情况最有效的最佳方法的确定取决于 ...
马云有限生命的无限游戏
转自: 砺石商业评论 2018-05-07 10:24:03 砺石导言:对于马云来说,创业就是他有限生命的一场无限游戏,没有终点,没有边界.他从没有给自己与阿里巴巴画地为牢,把阿里巴巴定义成一家普通的 ...
林轩田机器学习基石笔记5 - Training versus Testing
Recap and Preview 机器学习流程图第一节课,介绍机器学习是要找到最好的g,使g≈f(目标函数),保证Eout(g)≈0.第二节课,找方法使Ein≈0,如PLA和pocket.第四节课 ...
分类问题中的“维数灾难” - robotMax
分类问题中的"维数灾难" - robotMax 在看机器学习的论文时,经常会看到有作者提到"curse of dimensionality",中文译为" ...
Redis源码解析——字典结构
C++语言中有标准的字典库,我们可以通过pair(key,value)的形式存储数据.但是C语言中没有这种的库,于是就需要自己实现.本文讲解的就是Redis源码中的字典库的实现方法.(转载请指明出于b ...
福利 | 如何创造可信的AI？人工智能大牛盖瑞·马库斯的11条建议
文末有福利哦~ (本文来自湛庐文化策划出版新书<如何创造可信的AI>,作者盖瑞·马库斯(Gary Marcus ) 欧内斯特·戴维斯(Ernest Davis)) 在人工智能领域中,深度 ...
陈天奇：深度学习编译技术的现状和未来
https://www.toutiao.com/a6690418726631637512/ 2019-05-13 16:03:04 传统的深度学习框架采用人工优化算子,然后建立运行时图解释器来解决内存 ...
透彻理解高斯核函数背后的哲学思想与数学思想
https://www.toutiao.com/a6653427986718523917/ 数据点转换到高维空间后,原始特征无关紧要.仅仅计算测试数据与支持向量的点积,支持向量由SVM优化算法选择的特 ...

无限的hypotheses 变成有限的dichotomies

无限的hypotheses 变成有限的dichotomies相关推荐

最新文章

热门文章