SVM 推到期间遇到的表背景知识（间隔最大化）

背景，在看原理的时候，发现很多地方一知半解的，补充如下。

其他补充：

注：以下的默认为2分类

1、SVM原理：

(1)输入空间到特征空间得映射

所谓输入空间即是输入样本集合，有部分情况输入空间与特征空间是相同得，有一部分情况二者是不同的，而模型定义都是定义到特征空间的，特征空间是指所有的输入特征向量，特征向量是利用数值来表示的n维向量，输入空间到特征空间的映射，也就是对所用的特征进行数值量化（本人这么理解），与概率中的随机变量是一样的形式，随机变量是由样本空间到实数集的映射，例如：抛硬币的样本空间是{正面，反面}，映射到实数集便为{1,0}

(2)求得间隔最大化最优分离超平面

所谓分离超平面，即是能够将所有的特征向量划分为两类的平面或直线(特征有两个变为直线，多个变为平面，即几维的问题)，比如二维的情况下，一条线，能够坐标系中的所有点划分为两类，最优意为可以将所有的点尽量进行正确的划分，间隔最大化意为：在两类区域中各自距离直线最近的点到直线的距离是最大的，因此可以求得唯一的间隔最大化最优分离超平面w*x+b*=0,由于是距离因此是由法向量和截距决定，w*为法向量，b*为截距，此处对这个方程进行解释：法向量是从点到平面的垂直方向，在几何中求平面的方程时，平面方程可以设为一般方程Ax+By+Cz+D=0,这便可以看作为(A,B,C)*(x,y,z)即w*=(A,B,C),特征向量x=(x,y,z),b*=D.同理在求直线直线可设为Ax+By+C=0，因此求超平面时即为求w*,b*.

(3)求分类决策函数

所谓分类决策函数只是一个符号函数f(x)=sign(w*x+b*),sign是一个符号函数,取输入值的符号（正负），在上边取得法向量和截距以后与输入特征向量运算后将结果带入sign()得到分类

2、基础概念

(1)函数间隔

上边已经说了是求到超平面的最近距离的点的距离最大的超平面，因此求距离是很重要的一步，根据点到平面的距离公式分子为|w*x+b|,由于分母是相同的，所以|w*x+b|可以相对的表示出距离的大小。y（向量）在此表示的是每个特征向量的分类，而由上边已经知道，分类决策是求的符号的，因此可以确定w*x+b与y的符号（相对应元素）是相同的，因此可以利用y(w*x+b)来表示分类的正确性和确信度，这就是函数间隔:　　　　　　　　　　　　　　　　　　　　　　　　　　

注：超平面关于特征空间的函数间隔是值所有特征向量到超平面的函数间隔中的最小值

(2)几何间隔

利用函数间隔来具体衡量时，会出现一个问题，当法向量和截距同时扩大两倍时，超平面不变，但是函数间隔却便为原来的两倍，因此引入几何间隔的概念，其实简单的来说，几何间隔便是函数间隔除以法向量的模，具体公式如下：

同时由超平面关于特征空间的几何间隔是所有特征向量到超平面的几何间隔中的最小值

(3)支持向量

在线性可分的情况下，特征空间中距离分离超平面的距离最近的特征向量为支持向量

上面一段话来着：https://www.cnblogs.com/fantasy01/p/4633557.html

SVM 推到期间遇到的表背景知识（间隔最大化）相关推荐

SVM详解(一)线性可分支持向量机与硬间隔最大化
文章目录 1. 引言 2. 函数间隔与几何间隔 3. 间隔最大化 4. 最大间隔分离超平面的存在唯一性 5. 支持向量和间隔边界 6. 学习的对偶算法 1. 引言我们在介绍感知机的时候知道,对于线性 ...
SVM中的间隔最大化
参考链接: 1.https://blog.csdn.net/TaiJi1985/article/details/75087742 2.李航<统计学习方法>7.1节线性可分支持向量机与硬间 ...
Windows_Program_Via_C_Translate_Win32编程的背景知识/基础知识_包括基本输入输出机制介绍...
Some Basic Background Story of The Win32 APIs Win32 API背景故事/背景知识 The Win32 application programming i ...
零基础无实物一步一步学PLCS7-1200仿真背景知识一低压元器件基础
学习PLC之前,最好对基本的电气相关控制设备有一个牢固的基础,对于理解PLC乃至未来开发复杂的项目是一个非常好用的背景知识.话不多说,进入正题.本文将讲解电气控制最常见的低压电气元器件,每个元器件遵循 ...
基于神经网络的智能对话系统（二）——机器学习背景知识
2. 机器学习背景知识本章简要回顾了深度学习和强化学习,这些学习与后续章节中的会话AI最相关. 2.1 机器学习基础 Mitchell(1997)将机器学习广义地定义为包括任何计算机程序,该计算机程 ...
Tomcat(一)：背景知识和安装tomcat
1. 基础背景知识 1.1 java和jdk概念无论是何种程序,要能在计算机上运行,必须能转换为二进制的机器语言才能和硬件进行交互,在机器语言的上层是汇编语言,再上层是C/C++这样较底层的语言,由 ...
Visual Studio c++必要的背景知识--链接与编译
HowTo: 1) 如何创建和编写静态链接库 2) 如何创建可执行文件 3) 如何创建头文件和cpp文件 4) 如何相对路径寻址 5) 如何进行手动静态库链接 6) 如何编译部分或全部程序在撰写Li ...
[H5表单]一些html5表单知识及EventUtil对象完善
紧接着上面的文章,一开始准备一篇文章搞定,后来看到,要总结的东西还不少,干脆,把上面文章拆成两部分吧,这部分主要讲讲表单知识! 表单知识 1.Html5的autofocus属性. 有个这个属性,我们不 ...
极具职场竞争力的操作系统背景知识学习笔记（Windows+Linux）
<Windows篇> 对于每天都要在windows平台上进行逆向工程任务的我们而言,稍微了解一些系统底层的机制与实现原理,用这些背景知识来武装自己总是好的. 调试器,反汇编器,加包,解包器 ...

SVM 推到期间遇到的表背景知识（间隔最大化）

SVM 推到期间遇到的表背景知识（间隔最大化）相关推荐

最新文章

热门文章

SVM 推到期间 遇到的 表背景知识 （间隔最大化）

SVM 推到期间 遇到的 表背景知识 （间隔最大化）相关推荐

最新文章

热门文章

SVM 推到期间遇到的表背景知识（间隔最大化）

SVM 推到期间遇到的表背景知识（间隔最大化）相关推荐