Lecture5-3Effective number of hypotheses

2024-06-12 03:47:55

Dichotomies

={hypothesis h:→{x,o}}\mathcal{H} = \{\textrm{hypothesis } h: \mathcal{X} \rightarrow \{x,o\}\}

Call:

h(x1,x2,...,xN)=(h(x1),h(x2),...,h(xN))∈{x,o}N

h(\mathbf{x_1, x_2, ... , x_N}) = (h(\mathbf{x_1}), h(\mathbf{x_2}), ... , h(\mathbf{x_N})) \in \{ x, o\}^N

A dichotomy: hypothesis limited to the eyes of x1,x2,...,xN\mathbf{x_1, x_2, ..., x_N}
(x1,x2,...,xN)\mathcal{H}(\mathbf{x_1,x_2,...,x_N}): all dichotomies implemented by \mathcal{H} on the x1,x2,...,xN\mathbf{x_1,x_2,...,x_N}

|||\mathcal{H}|: Candidate for replacing MM

Growth Function

(x1,x2,...,xN)\mathcal{H}(\mathbf{x_1,x_2,...,x_N}) depends ont inputs x1,x2,...,xN\mathbf{x_1,x_2,...,x_N}

growth function: remove dependencies by taking the MAX of all (x1,x2,...,xN)\mathcal{H}(\mathbf{x_1,x_2,...,x_N})

m(N)=maxx1,x2,...,xN∈(x1,x2,...,xN)

m_\mathcal{H} (N)= \max_{{\mathbf{x_1,x_2,...,x_N}}\in \mathcal{X}} \mathcal{H}(\mathbf{x_1,x_2,...,x_N})

Lines in 2D

NN	m(N)m_{\mathcal{H}}(N)
1	2
2	4
3	max(...,6,8)=8\max(...,6,8) = 8
4	14<2N14

Finite, upper bounded by 2N2^N

Growth function for positive rays(1D perceptron)

Growth function for positive intervals

Growth function for convex sets

Lecture5-3Effective number of hypotheses相关推荐

机器学习基石-05-3-Effective Number of Hypotheses
Dichotomies: Mini-hypotheses,dichotomy意思是一分为二,就是将普通的都转换成二分的. 用来代替M的部分就是可行的假设h的个数,包含所有可能存在的情况,比如input ...
机器学习基石 5.3 Effective Number of Hypotheses
文章目录 1. Dichotomies: Mini-hypotheses 2. Growth Function 3. Growth Function for Positive Rays 4. Grow ...
影像组学视频学习笔记(37)-机器学习模型判断脑卒中发病时间(文献报告)、Li‘s have a solution and plan.
作者:北欧森林链接:https://www.jianshu.com/p/3e7a2c84288e 来源:简书,已获授权转载 RadiomicsWorld.com "影像组学世界" ...
VC维的来龙去脉(转)
目录: 说说历史 Hoeffding不等式 Connection to Learning 学习可行的两个核心条件 Effective Number of Hypotheses Growth Funct ...
Paper：《A Few Useful Things to Know About Machine Learning—关于机器学习的一些有用的知识》翻译与解读
Paper:<A Few Useful Things to Know About Machine Learning-关于机器学习的一些有用的知识>翻译与解读目录 <A Fe ...
台湾大学林轩田机器学习基石课程学习笔记5 -- Training versus Testing
红色石头的个人网站:redstonewill.com 上节课,我们主要介绍了机器学习的可行性.首先,由NFL定理可知,机器学习貌似是不可行的.但是,随后引入了统计学知识,如果样本数据足够大,且hypo ...
show attend and tell 计算bleu分数（1到4）
Calculate BLEU scores 参考:How to do calculate all bleu scores during evaluvaion #37 主要是参数的改变,默认计算的是BL ...
VC维与DNN的Boundary
原文链接:解读机器学习基础概念:VC维来去作者:vincentyao 目录: 说说历史 Hoeffding不等式 Connection to Learning 学习可行的两个核心条件 Effecti ...
机器学习基石笔记5——为什么机器可以学习（1）
转载请注明出处:http://www.cnblogs.com/ymingjingr/p/4271742.html 目录机器学习基石笔记1--在何时可以使用机器学习(1) 机器学习基石笔记2--在何时 ...

最新文章

热门文章