什么是svm

Hard Margin

Soft Margin 和SVM的正则化

什么是svm

既可以分类也可以回归

分成红色可能会好，降低了模型的泛化能力

Hard Margin

Theta 为n+1维 theta0x0 = b 截距

w为n维向量，计算后为一个数，d 也是一个数且为正数

2*x + y = 0

4*x + 2*y = 0

为了便于简写，可以写为

只是符号代替上面的数，现在有两个式子，可以化为

优化目标

s.t. = such that

与之前的不同，这个是有条件的最优化问题，求解比较复杂

之前的是全局最优化问题，只需要求导

这是hard margin前提是线性可分，但实际的数据不一定线性可分

Soft Margin 和SVM的正则化

本质是

求解后很有可能

虽然分开了，但其泛化能力可能buxing

能够有一定的容错能力，

下面无法线性可分

具有容错能力的svm即soft margin svm

不一定所有的点在线之外，可以有一些点在两条边界线之间

对于每一个样本都一个yita，每一个都会有一个容错空间，希望有容错空间但不能太大

现存两者占的比例一样，正则化知识可知不一定

yita是正数不要| |

yita与之前的正则化中的theta几何意义不同

C之前是在前面的公式中，现在在后面

但C的表意是一样，C越大则容错空间越小

第11章支撑向量机 SVM 学习笔记上相关推荐

第11章支撑向量机SVM
支持向量机(support vector machines)是一种二分类模型,它的目的是寻找一个超平面来对样本进行分割,分割的原则是间隔最大化,最终转化为一个凸二次规划问题来求解.由简至繁的模型包括: ...
百面机器学习 #3 经典算法：01-1 线性可分（硬间隔）支撑向量机SVM
文章目录 ①从原始问题到对偶问题 ②对偶问题的解的形式化简 ③从对偶问题的解到原问题的解 ④从原问题的解到分离超平面和决策函数.支撑向量参考李航统计学习方法第7章. 支持向量机学习的基本想法是求解能 ...
百面机器学习 #3 经典算法：01-2 不完全线性可分（软间隔）支撑向量机SVM
文章目录 ①从原问题到对偶问题 ②对偶问题的解的形式化简 ③从对偶问题的解到原问题的解 ④从原问题的解到分离超平面.决策函数.支撑向量假设训练数据集不是线性可分的.通常情况是,训练数据中有一些特异点 ...
百面机器学习 #3 经典算法：01-3 核函数支撑向量机SVM
文章目录 1.3 非线性SVM与核技巧 1.3.1 核函数 1.3.2 核技巧在支持向量机中的应用 1.3.3 常用核函数 1.4 其他问题 1.4.1 是否存在一组参数使SVM训练误差为0:是 1. ...
SVM学习笔记-对偶形式的SVM
SVM学习笔记第二篇 SVM学习笔记-线性支撑向量机 SVM学习笔记-对偶形式的SVM SVM学习笔记-核函数与非线性SVM SVM学习笔记-软间隔SVM 0 - 回顾上一篇笔记讲述了一个模型:线性 ...
Matlab：基于Matlab实现人工智能算法应用的简介(SVM支撑向量机GA遗传算法PSO粒子群优化算法)、案例应用之详细攻略
Matlab:基于Matlab实现人工智能算法应用的简介(SVM支撑向量机&GA遗传算法&PSO粒子群优化算法).案例应用之详细攻略目录 1.SVM算法使用案例 1.1.Libsvm ...
python画反比例函数_反比例光滑支撑向量机
1. 引言 2001年Lee等人通过对支撑向量机的深入研究引入光滑的概念,使用了sigmoid积分函数p(x,α)对无约束的支撑向量机模型SVM [1] 进行光滑化,得出了分类性能较好的光滑支撑向量机 ...
《C++Primer》第二章-变量和基本类型-学习笔记(1)
<C++Primer>第二章-变量和基本类型-学习笔记(1) 文章目录 <C++Primer>第二章-变量和基本类型-学习笔记(1) 摘要主体基本(内置)类型算数类型整 ...
【ember zigbee】序章:协议栈相关文档学习笔记
原文地址:https://blog.csdn.net/tainjau/article/details/90648114 文章目录写在前面一.材料出处二.文档解析 2.1.EZSP Protoco ...
HTML5 权威指南第 10 章文档分节学习笔记
HTML5 权威指南第 10 章文档分节学习笔记第 8 章标记文字内容从从文字出发,专注如何将单体内容正确的呈现出来:第 9 章组织内容内容从段落出发,专注如何将单体内容合理的放在段落中 ...

第11章支撑向量机 SVM 学习笔记上

什么是svm

Hard Margin

Soft Margin 和SVM的正则化

第11章支撑向量机 SVM 学习笔记上相关推荐

最新文章

热门文章

第11章 支撑向量机 SVM 学习笔记 上

什么是svm

Hard Margin

Soft Margin 和SVM的正则化

第11章 支撑向量机 SVM 学习笔记 上相关推荐

最新文章

热门文章

第11章支撑向量机 SVM 学习笔记上

第11章支撑向量机 SVM 学习笔记上相关推荐