　　　　　　　Support Vector Machine(3) : 再谈量化误差（Generalization Error）

　　在SVM第一节中我们有简单涉及到泛化误差这个概念。在SVM中，使得Margin最大的解即为使泛化误差最小。那么泛化误差到底是什么，为什么Margin最大时泛化误差就最小？下面我们来探究一下。

　　什么是泛化误差？Wiki给出这样一个描述：generalization error (also known as the out-of-sample error) is a measure of how accurately an algorithm is able to predict outcome values for previously unseen data. 意思就是泛化误差使用来描述一个在训练集上训练得到的模型（算法）对训练集以外的数据的预测准确度。这里用一个简单的例子来描述一下，假设学校要选出一个水平最高的同学去参加全国的物理竞赛（问题），那么我们需要有一个过程来选拔（训练）。这时候学校老师出了一张包含20道物理题的试卷（训练集）给大家做，得分最高的同学（Model）选为参加全国物理竞赛的选手（Decision Rule）。但是这一次得分最高的是否就代表全校最高水平呢？那肯定不一定，没准他恰好做过其中的19道题，然而实际水平并没有这么高，其他的物理题都不会做；如果是这种情况的话，我们就说泛化误差比较大。如果这次考核真的选出了最高水平的学生，那么我们就说泛化误差比较小。泛化误差大概就是这么一个东西。

转载于:https://www.cnblogs.com/ccienfall/p/6195999.html

Support Vector Machine (3) : 再谈泛化误差（Generalization Error）相关推荐

机器学习技法1-Linear Support Vector Machine
注: 文章中所有的图片均来自台湾大学林轩田<机器学习技法>课程. 笔记原作者:红色石头微信公众号:AI有道本系列分成16节课,将会介绍<机器学习基石>的进阶版<机器学 ...
台湾大学林轩田机器学习技法课程学习笔记1 -- Linear Support Vector Machine
红色石头的个人网站:redstonewill.com 关于台湾大学林轩田老师的<机器学习基石>课程,我们已经总结了16节课的笔记.这里附上基石第一节课的博客地址: 台湾大学林轩田机器学习基 ...
SVM（support vector machine）支持向量机原理详解
SVM是什么? SVM - support vector machine, 俗称支持向量机,为一种supervised learning算法,属于classification的范畴. 在数据挖掘的应用 ...
Task02——支持向量机（Support Vector Machine，SVM）
支持向量机(Support Vector Machine,SVM) 本系列是2022年12月DataWhale组队学习中sklearn机器学习实战中的第二个学习任务--SVM,开源的在线学习地址 ,下 ...
支持向量机SVM(Support Vector Machine）是一个有监督的学习模型
前言动笔写这个支持向量机(support vector machine)是费了不少劲和困难的,原因很简单,一者这个东西本身就并不好懂,要深入学习和研究下去需花费不少时间和精力,二者这个东西也不好讲清 ...
详解支持向量机（Support Vector Machine, SVM）
接触支持向量机(Support Vector Machine, SVM)有很长一段时间了,对它的原理一直懵懵懂懂.有幸在国科大听了兰艳艳老师的课,对SVM有了更加深入的认识,决定写成笔记记录下来,当作 ...
机器学习算法系列（十四）-硬间隔支持向量机算法（Hard-margin Support Vector Machine）
阅读本文需要的背景知识点:拉格朗日乘子法.KKT条件.一丢丢编程知识一.引言前面一节我们介绍了一种分类算法--朴素贝叶斯分类器算法,从概率分布的角度进行分类.下面我们会花几节来介绍另一种在分类 ...
[机器学习] 分类 --- Support Vector Machine (SVM)
1. 基本概念支持向量机(Support Vector Machine, SVM)的基本模型是在特征空间上找到最佳的分离超平面使得训练集上正负样本间隔最大.SVM是用来解决二分类问题的有监督学习算法 ...
机器学习实战（五）支持向量机SVM（Support Vector Machine）
目录 0. 前言 1. 寻找最大间隔 2. 拉格朗日乘子法和KKT条件 3. 松弛变量 4. 带松弛变量的拉格朗日乘子法和KKT条件 5. 序列最小优化SMO(Sequential Minimal O ...

Support Vector Machine (3) : 再谈泛化误差（Generalization Error）

目录

Support Vector Machine(3) : 再谈量化误差（Generalization Error）

Support Vector Machine (3) : 再谈泛化误差（Generalization Error）相关推荐

最新文章

热门文章