谈一谈PAC学习理论

这个系列的博客，我将整理一下关于PAC 学习理论的知识。目的是用相对数学的角度，对PAC 理论的数学给出框架，再从通俗易懂的角度，给与相对直白的理解。

机器学习作为一个当下十分火热的话题，引来了无数学者的广泛研究。甚至高中已经开设了人工智能课啦。那么PAC 学习理论，也叫计算学习理论，解决了一个什么样的问题呢？

当你训练一个算法的时候，是否有时候问问自己以下几个问题呢？

譬如，这个学习算法最后可以收敛吗？有多大概率收敛呢？（把设计算法看作是买彩票的话，你有多大概率中奖呢？）

你需要多少样本呢？为什么需要这个数量的样本算法才能工作的很好呢？

下面，我们来一点点讨论下这个看似有些玄妙的问题。

我们先从集中不等式（Concentration inequality）说起。岔开话题显得很啰嗦，不过为了内容的完整性，我们还是一步一步的来。

关于数学证明，只要是不太长的，我会在博文中直接给出，如果你被数学证明烦到了，就跳过证明直接来看结果。

集中不等式是数学中的一类不等式，描述了一个随机变量是否集中在某个取值附近。其实，这个概念对于只要熟悉本科概率论的朋友就不陌生，因为本科的概率论里就有讲到过切比雪夫不等式。不过如果你还不熟悉，就按照我下面的引导来一步步看下去。我们实际要用到的是集中不等式中的Hoeffding 不等式，不过为了热热身，对集中不等式有点感觉，我们先来两个简单的。

首先，介绍一个最简单的不等式，马尔科夫不等式。
马尔科夫不等式：对于一个非负随机变量ZZZ，P(Z≥t)≤E[Z]t" role="presentation" style="position: relative;">P(Z≥t)≤E[Z]tP(Z≥t)≤E[Z]tP(Z\geq t) \leq \frac{\mathbb{E}[Z]}{t}
证明：

∫∞0PZ(z)dz≤∫∞tztPZ(z)dz≤∫∞0ztPZ(z)dz=E[Z]t∫0∞PZ(z)dz≤∫t∞ztPZ(z)dz≤∫0∞ztPZ(z)dz=E[Z]t

\int_{0}^{\infty}P_Z(z)dz\leq\int_t^\infty\frac{z}{t}P_Z(z)dz\leq\int_0^\infty\frac{z}{t}P_Z(z)dz=\frac{\mathbb{E}[Z]}{t}

马尔科夫不等式告诉我们，对于一个非负的随机变量ZZZ，Z" role="presentation" style="position: relative;">ZZZ大于一个值的概率可以用这个值和这个随机变量的均值来度量。
现在回头想想，为什么我们要先从集中不等式说起呢？
想想，如果ZZZ是分类器分类的正确率，如果我们能得到这样一个集中不等式：

P(Z≥ϵ)≤C" role="presentation">P(Z≥ϵ)≤CP(Z≥ϵ)≤C

P(Z\geq \epsilon) \leq C
其中CCC是一个和Z,ϵ" role="presentation" style="position: relative;">Z,ϵZ,ϵZ,\epsilon有关的数，这样我们似乎就得到了一些关于分类器的正确率的信息。不过，这个过程比较曲折，我们一点点来。下面再来看一个不等式热热身。
切比雪夫不等式：

P(|Z−E[Z]|≥t)≤Var(Z)t2P(|Z−E[Z]|≥t)≤Var(Z)t2

P(|Z- \mathbb{E}[Z]| \geq t)\leq \frac{Var(Z)}{t^2}
我们来证明一下这个不等式：(第一个小于等于由于两个数 a≥ba≥ba \geq b那么 a2≥b2a2≥b2a^2 \geq b^2,第二个小于等于由马尔科夫不等式得到)

P(Z≥t)≤P(Z2≥t2)≤E[Z2]t2P(Z≥t)≤P(Z2≥t2)≤E[Z2]t2

P(Z \geq t) \leq P(Z^2 \geq t^2) \leq \frac{\mathbb{E}[Z^2]}{t^2}
把 ZZZ带成|Z−E[Z]|" role="presentation" style="position: relative;">|Z−E[Z]||Z−E[Z]||Z-\mathbb{E}[Z]|，化简得到切比雪夫不等式。
这两个不等式属于集中不等式中比较简单的，下面我们来看个复杂一点的不等式，

谈一谈PAC学习理论相关推荐

谈一谈浏览器解析CSS选择器的过程【前端每日一题-6】
谈一谈浏览器解析CSS选择器的过程? 这是一道发散题,可以根据自己的理解自行解答. 在开始前,我们必须了解一个真相:为什么排版引擎解析 CSS 选择器时一定要从右往左解析? 简单的来说:浏览器从右到左 ...
有一群200w年薪的朋友是什么感觉？谈一谈入学中国科学院大学的几点感受吧
我叫阿广,偶尔正经,偶尔逗比,97年生人,在求学期间当过鸡头鸡尾,当过凤尾没当过凤头.大家如果想深入了解我,可以查看本公众号的原创文章. 技术人光有技术走不长久,所以今天不更新技术文章了,也给大家谈一 ...
【建站系列教程】5、谈一谈网站的静态化
[建站系列教程]5.谈一谈网站的静态化[进阶] 动态页面?静态页面?伪静态页面? 三个页面有何优缺点? 为什么要让网页静态化如何网页伪静态化? 写在前面:大家好,我是热爱编程的小泽. [建站系列教程 ...
谈一谈周公所理解的面试
因为公司最近招聘的力度很大,所以最近公司的面试很多,加之很多同事项目紧,所以让我参加了一些技术面试.不论是作为面试官还是应聘者,参加工作以来我参与的面试的次数我自己也记不清了,所以在此想从面试官和应聘 ...
我从阿里面试回来，想和Java程序猿谈一谈
最近小编看了一篇关于面试的文章,题目是"我从阿里面试回来,想和Java程序员谈一谈",内容不是讲面试前刷题,而是更加聚焦在面试前如何准备,以及工作当中如何学习.感觉总结的很不错,今 ...
怎么学python-结合学习经历，谈一谈如何学习Python
结合自己的学习经历,谈一谈如何学习Python吧. 入门阶段 Python其实语言本身已经很接近自然语言了,所以入门其实并不麻烦.如果你是从未接触过编程的萌新,给你推荐一门Udacity CS101, ...
先查询再插入的存储过程怎么写_谈一谈 InnoDB(1) - 底层存储文件结构
看技术文章是不是很累呢, 这次来个轻松点的~来谈一谈MySQL最主流的数据库引擎 InnoDB 吧~ 序老王走进一号会议室, 随手打开了灯, 小张紧随其后 "王哥, 找我来干啥啊" ...
Java程序员谈一谈-----java程序员成长之路
转载:http://www.banzg.com/archives/679.html?ref=myread 阿里面试回来,想和Java程序员谈一谈引言其实本来真的没打算写这篇文章,主要是LZ得记忆力 ...
谈一谈并查集QAQ（上）
最近几日理了理学过的很多oi知识...发现不知不觉就有很多的知识忘记了... 在聊聊并查集的时候顺便当作巩固吧.... 什么是并查集呢? ( Union Find Set ) 是一种用于处理分离集合的 ...
阿里面试回来，想和 Java 程序员谈一谈
转载自阿里面试回来,想和 Java 程序员谈一谈! 第一个问题:阿里面试都问什么? 这个是让LZ最头疼的一个问题,也是群里的猿友们问的最多的一个问题.说实话,LZ只能隐约想起并发.JVM.分布式.T ...

谈一谈PAC学习理论

谈一谈PAC学习理论相关推荐

最新文章

热门文章