支持向量机原理与高斯核函数

2024-03-29 17:28:29

支持向量机原理

首先先从线性回归下手，下面是线性回归的代价函数，目的是求出最优化参数θ

将函数经过这样的变化：

最终得到支持向量机的代价函数：

其中c类似于正则化参数

而支持向量机的假设模型是这样的：

支持向量机选择决策边界的原理是：

其中θ是决策边界在原点的法向量，例如下图：

其中p^(i)是第i个样本点的向量在θ上的投影：

由是s.t.的数学表达式：

可知：当p^(i)越大，则所需要的θ范数（||θ||）就可以更小一点，支持向量机选择决策边界的依据就是||θ||越小越好。

例如，下面这幅图中的决策边界就会比前一个决策边界得到的||θ||更小，因为p^(i)更大，支持向量机会选择这样的一个决策边界

高斯核函数

高斯核函数可以找到非线性的封闭决策边界，类似于如下这种：

这种决策边界也可以用高阶函数来表示，但是高斯核函数明显具有优势。

高斯核函数原理如下：

k函数的图像如下例：

即： $f_i=e^{-\frac{||x-l^{(i)}||^2}{2\sigma ^2}}$ ,其中 $||x-l^{(i)}||^2$ 即为所选样本点到点 $l^{(i)}$ 的距离，如距离过大，则由于k函数的性质，f≈0。

我们定义一个类似于下面这样的式子，通过某种方法得到 $\theta _i$ 的值，通过k函数得到所选样本点到每一个定位点f_(i)的值。带入到式子之中，得到该点的预测值y，是0，还是1。

θ的选值和参数的多少是很灵活的，可以很大程度满足所需的非线性封闭区域。

支持向量机原理与高斯核函数相关推荐

机器学习--SVM（支持向量机）核函数原理以及高斯核函数
最近小小地研究了一下SVM,发现这个算法还是相当有意思,今天来给大家讲讲其原理. 首先假设每个样本的特征值为X1.X2...到Xn,即有n个特征值.θ1.θ2.θ3...θn为对应权值. 那么要将上图 ...
支持向量机中高斯核函数的直观理解
这一文章主要讲述高斯核函数的直观理解,并不会涉及支持向量机代价函数及最优化的问题. 什么是高斯核函数? 在支持向量机中它是一个用来构造非线性边界的核函数. 高斯核函数的定义: 这个函数说白了,就是点X ...
高斯核函数初始化邻接矩阵_转：谱聚类（spectral clustering）原理总结
转自:https://www.cnblogs.com/pinard/p/6221564.html 谱聚类(spectral clustering)是广泛使用的聚类算法,比起传统的K-Means算法,谱 ...
机器学习之支持向量机实例，线性核函数多项式核函数 RBF高斯核函数 sigmoid核函数
文章目录支持向量机实例 1.线性核函数 2.多项式核函数 3.RBF高斯核函数 4.sigmoid核函数代码: 结果: 支持向量机实例 1.线性核函数 def test_SVC_linear(): ...
监督学习 | SVM 之非线性支持向量机原理
文章目录 1. 非线性支持向量机 1.1 核技巧 1.2 核函数 1.2.1 核函数选择 1.2.2 RBF 函数参考资料相关文章: 机器学习 | 目录机器学习 | 网络搜索及可视化监督学习 ...
支持向量机原理之线性SVM与非线性SVM
一.什么是SVM? SVM的英文全称是Support Vector Machines,我们叫它支持向量机.支持向量机是我们用于分类的一种算法.让我们以一个小故事的形式,开启我们的SVM之旅吧. 在很久 ...
支持向量机原理(五)线性支持回归
支持向量机原理(一) 线性支持向量机支持向量机原理(二) 线性支持向量机的软间隔最大化模型支持向量机原理(三)线性不可分支持向量机与核函数支持向量机原理(四)SMO算法原理支持向量机原理(五) ...
统计学习方法笔记(六)-非线性支持向量机原理及python实现
非线性支持向量机非线性支持向量机定义非线性支持向量机算法非线性支持向量机学习算法代码案例 TensorFlow 案例地址非线性支持向量机定义非线性支持向量机从非线性分类训练集,通过 ...
支持向量机（三）核函数
7 核函数(Kernels) 考虑我们最初在"线性回归"中提出的问题,特征是房子的面积x,这里的x是实数,结果y是房子的价格.假设我们从样本点的分布中看到x和y符合3次曲线,那么我 ...
MATLAB机器学习系列-7支持向量机原理及其代码实现
支持向量机原理分类如图,在分类中,我们需要找到一个超平面(图中包括间隔的平面)把圆圈和方框分开原问题间隔最小,同时保证真实输出和模型输出积大于1 对偶问题原先的最小化问题变成了最大化问题,原 ...

最新文章

热门文章