支持向量机-SVM-最优化公式推导记录

1. 简述

SVM涉及的东西很多，如果要理解全面的话，要理解经验风险与置信风险，VC维理论，推导出最优化公式，最优化求解的拉格朗日解法，核函数，等等方面的内容，当前对SVM理解太少，平时主要使用其工具包，这里记录一下推导出SVM最优化公式的部分，主要参考是维基百科，感觉维基百科在这部分的说明比较清楚简单。

2. 推导

· 已知信息
    样本数据：xi是特征向量，yi是标注，p是特征向量的维数，n是样本数量。

    目标：是寻找最大间隔超平面，一方面保证将所有的样本分开，另一方面超平面两侧的没有样本的间隔最大。
  · 推导
    假设超平面为w·x + b = 0 （一般使用w的转置，这里输入不方便使用w代替）
    超平面一般使用超平面族表示即w·x+b=1与w·x+b=-1。
    如果样本数据线性可分，就可以找到这样的两个超平面使得，这两个平面之间没有样本点，并且这两个超平面之间的距离是最大的。对于两个平面之间没有样本点，相当于yi (w·xi+b) > 1, i=1,2,...,n. 两个超平面之间的距离=2/|w|，最大化这个间隔相当于最小化|w|。
    因此寻找能够分开所有样本的间隔最大的两个超平面可以描述为：
    min |w|,
    s.t. yi (w·xi+b)>1, 其中i=1,2,...,n
  · 为了求解方便，可以进一步化为
    min 1/2 |w*w|
    s.t. yi (w·xi+b)>1, 其中i=1,2,...,n

3. 参考

维基百科_支持向量机
    http://en.wikipedia.org/wiki/Support_vector_machine
    http://zh.wikipedia.org/wiki/%E6%94%AF%E6%8C%81%E5%90%91%E9%87%8F%E6%9C%BA

支持向量机-SVM-最优化公式推导记录相关推荐

机器学习实战支持向量机SVM 代码解析
机器学习实战支持向量机SVM 代码解析 <机器学习实战>用代码实现了算法,理解源代码更有助于我们掌握算法,但是比较适合有一定基础的小伙伴.svm这章代码看起来风轻云淡,实则对于新手来说有 ...
机器学习算法 08 —— 支持向量机SVM算法(核函数、手写数字识别案例)
文章目录系列文章支持向量机SVM算法 1 SVM算法简介 1.1 引入 1.2 算法定义 2 SVM算法原理 2.1 线性可分支持向量机 2.2 SVM计算过程与算法步骤(有点难,我也没理解透,建 ...
机器学习：支持向量机SVM的SVC和SVR
支持向量机SVM SVM的工作原理及分类支持向量机的原理线性可分的SVM 非线性可分的支持向量机支持向量机分类SVC 支持向量机回归SVR SVR原理 SVR模型时间序列曲线预测 SVM的工作 ...
算法模型---支持向量机(SVM)
来源:JerryLead 支持向量机的特点支持向量机的用途 SVM一般是用来分类的(一般先分为两类,再向多类推广) 支持向量机的适用范围数据类型自变量可以数值型和标称型数据因变量是二分类,通过 ...
支持向量机(SVM)简介
支持向量机(support vector machine, SVM):是监督学习中最有影响力的方法之一.类似于逻辑回归,这个模型也是基于线性函数wTx+b的.不同于逻辑回归的是,支持向量机不输出概率, ...
统计学习方法|支持向量机(SVM)原理剖析及实现
欢迎直接到我的博客查看最近文章:www.pkudodo.com.更新会比较快,评论回复我也能比较快看见,排版也会更好一点. 原始blog链接: http://www.pkudodo.com/2018/ ...
OpenCV之ml 模块. 机器学习：支持向量机(SVM)介绍支持向量机对线性不可分数据的处理
支持向量机(SVM)介绍目标本文档尝试解答如下问题: 如何使用OpenCV函数 CvSVM::train 训练一个SVM分类器, 以及用 CvSVM::predict 测试训练结果. 什么是支持向 ...
使用支持向量机进行光学字符识别_从零推导支持向量机 (SVM)
雷锋网 AI 科技评论按,本文作者张皓,目前为南京大学计算机系机器学习与数据挖掘所(LAMDA)硕士生,研究方向为计算机视觉和机器学习,特别是视觉识别和深度学习. 个人主页:http://lamda. ...
机器学习——支持向量机SVM之非线性模型（低维到高维映射）
目录一.非线性模型的最优化问题 1.非线性模型最优化模型 2.两个概念 1)正则项(regularization term) 2)调参参数 2.高维映射 1)定义及作用 2)高维映射后的最优化模型 ...

支持向量机-SVM-最优化公式推导记录

支持向量机-SVM-最优化公式推导记录相关推荐

最新文章

热门文章