计算学习理论的简单理解
计算学习理论
开了机器学习课，觉得上课有些吃不消，其中有一小节讲了计算学习理论。没懂，之后用了两天时间看视频和机器学习西瓜书来学习一下。
深度的公式推导，还不会，但是对于推导出来的公式的含义还是能理解出代表的意义。
1 PAC学习
PAC学习，其实主要的就是PAC可学习和不可知PAC可学习，这两者都是证明的是机器学习的可行性，用我自己的话来说就是证明了机器学习的算法说得出的结果，不是莫名其妙“猜”出来的，是能通过证明证明出来该算法是对于这个问题切实可行的。PAC可学习，不可知PAC可学习都是证明一样的事情，只不过后者是用于更困难的学习问题，前者是要求算法的误差达标（ ≤ ϵ \leq\epsilon ≤ϵ）的概率要满足置信度要求，后者是条件放宽了一步，即算法泛化误差和经验误差的差值达标( ≤ ϵ \leq\epsilon ≤ϵ)的概率要满足置信度要求。
2 VC维
PAC学习证明的是某个算法是否能够运用于某个问题上，VC维反映的是算法的学习能力，VC维越大就说明算法的学习能力越强。可以用实数域中的区间和二维实平面上的线性划分理解。
其中比较重要的有三个概念，增长函数，对分和打散。
VC维是指能被打散的最大示例集的大小，且任何VC维有限的假设空间都是不可知PAC可学习的。
3 Rademacher复杂度
Rademacher复杂度解决的问题就是VC维没有考虑数据自身，所以得到的泛化误差界比较“松”，Rademacher复杂度考虑到了数据的分布。基于Rademacher复杂度的泛化误差界依赖于具体学习问题上的数据分布。
4 稳定性
VC维和Rademacher复杂度推导的泛化误差界是对所有学习算法都适用的，稳定性是基于算法来进行分析的。通过稳定性也同样可以推导出可学习性。
计算学习理论的简单理解相关推荐
- python语言的计算生态规模有多大_【单选题】Python 语言的一个重要特点是它有较多的计算生态，简单理解为第三方提供的可用编程模块 / 函数库 / 组件，这个规模有多大？...
[单选题]Python 语言的一个重要特点是它有较多的计算生态,简单理解为第三方提供的可用编程模块 / 函数库 / 组件,这个规模有多大? 更多相关问题 [问答题,简答题] 顾客关系管理系统如何给企业 ...
- 独家 | 计算学习理论简介（附资源推荐）
作者:Jason Brownlee 翻译:陈超 校对:王琦 本文长度为3600字,建议阅读10+分钟 本文为大家介绍了如何使用计算学习理论研究机器学习任务和方法,并对其中比较重要的子领域PAC学习以及 ...
- 机器学习：计算学习理论
计算学习理论介绍 关键词: 鲁棒性 关键词: [机器学习基础]理解为什么机器可以学习1--PAC学习模型--简书 关键词:存在必要性:从机器学习角度出发 PAC学习理论:机器学习那些事 关键词:不错的 ...
- 【转载】Deep learning：十九(RBM简单理解)
Deep learning:十九(RBM简单理解) 这篇博客主要用来简单介绍下RBM网络,因为deep learning中的一个重要网络结构DBN就可以由RBM网络叠加而成,所以对RBM的理解有利于我 ...
- 机器学习笔记(十二)计算学习理论
12.计算学习理论 12.1基础知识 计算学习理论(computationallearning theory)研究的是关于通过计算来进行学习的理论,即关于机器学习的理论基础,其目的是分析学习任务的困难 ...
- 字符串匹配算法Java_如何简单理解字符串匹配算法？
这篇文章来说说如何简单理解KMP,BM算法.之前看过一些文章说,KMP算法很难理解. 可我并不觉得. 我反而觉得它容易理解.平时我们写java代码的时候, 判断一个字符串是否存在包含另一个字符串都是直 ...
- 笔记 | 《机器学习》中计算学习理论（下）
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 编辑:Sophia 计算机视觉联盟 报道 | 公众号 CVLianMeng 大家好,我是王博(Kings) 本次 ...
- 笔记 | 《机器学习》中计算学习理论（上）
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 编辑:Sophia 计算机视觉联盟 报道 | 公众号 CVLianMeng 大家好,我是王博(Kings) 本次 ...
- 计算学习理论、统计学习基础理论
computational learning theory:计算学习理论: 支持向量机是建立在统计学习理论 VC 维理论和结构风险最小化原理基础上的机器学习方法. 统计学习的基础就是统计推理(stat ...
最新文章
- NB-IoT，你真是太让我失望了
- SQL server与Oracle触发器的创建与使用
- cnn stride and padding_Tensorflow学习笔记- 模型建立与训练篇（CNN）
- html下拉折叠菜单,原生Js_实现简单的下拉折叠菜单(添加弹出动画效果)
- js利用localStorage和sessionStorage完成记住我功能
- Linux测量进程内存峰值,linux / unix进程的峰值内存使用情况
- nova8pro能升级鸿蒙吗,华为将有48款产品可以升级到鸿蒙 2.0系统
- mysql found row_mysql found_row()使用详解
- Win7下使用openssl时出现“Unable to write ‘random state’‘的问题
- JSK-399 绝对值最小的数【大数】
- 常用命令2——VNC
- iOS学习之Object-C语言继承和初始化方法
- Python爆力破解rar密码并对比多线程的效率
- [GIS] 火星坐标GCJ-02的实质 | 高德地图的实际坐标系
- PMP（第六版）中的各种矩阵表格
- 最新版java（JDK-14）下载及安装
- smarty 的安装与使用
- 苹果ppt_如何选择一款趁手的PPT软件 | 一千零一夜PPT系列
- bzoj3631[JLOI2014]松鼠的新家
- 成交量分布图识别阻力支撑区域构建交易策略