SVM 对偶问题学习笔记

2024-04-12 08:12:58

主问题描述

构造拉格朗日函数：

定义 L 的下确界（极小值）为：（ Γ 希腊字母 γ 的大写，读音为/'gæmə/）

inf(L)，这里就是极小值。“下确界”是数学分析中的基本概念，它是在“下界”的基础上定义的。任给一数集 E，我们称E的最大下界为 E 的下确界，记为infE. 显然，E 中每个元素均大于或等于 infE.

主问题和infL最优解的关系

主函数 f(x) 的最优解为 f(x~)，从约束条件来看 inf(L) 的定义公式，h(x) 始终为 0，那么这个函数的值由第二部分的 g(x) 决定，所以当拉格朗日因子 μ 大于 0 时，由于不等式的约束条件，那么 inf(L) 是小于 0 的，那么影响 inf(L) 的就是第一部分 f(x) 的值了，因此在 μ>0 的时候，info(L) 必然是小于 f(x) 的。

上述不等式可知 Γ(λ，μ）是 f(x) 的最小值。

对偶问题和目标函数的最优解的关系推论

SVM 求解过程的推导

第二、三行的等式是 KKT 条件，即求偏导数设置为 0 得到的等式。
接下来对上面这个式子求最优解，此时除了 α 是变量，其他都是样本值，都是已知量。

参考资料

https://www.cnblogs.com/xxrxxr/p/7536131.html

SVM 对偶问题学习笔记相关推荐

机器学习 matlab工具箱,[matlab]机器学习及SVM工具箱学习笔记
机器学习与神经网络的关系: 机器学习是目的,神经网络是算法.神经网络是实现机器学习的一种方法,平行于SVM. 常用的两种工具:svm tool.libsvm SVM分为SVC和SVR,svc是专门用来 ...
机器学习之支持向量机（SVM）学习笔记-Datawhale Task05
Author Bryce230 e-mail 2540892461@qq.com Software win10,Pycharm2019.3.3,Python3.7.7 SVM笔记-Datawhale ...
支持向量机（SVM）学习笔记
学习资料主要来源于哔哩哔哩.知乎.CSDN.百度百科.非绝对原创. 主要介绍经典svm的原理及其特点,以及几种特殊的svm. 经典的svm主要用来解决二分类问题. 首先给大家举一个例子拿来一个 ...
支持向量机SVM的学习笔记
1 致谢感谢机器学习研究会提供的资料 2 前言关于SVM,一直觉得是个很神奇的东西,特别是最初的时候听说他是苏联科学家提出来的(SVM最早由前苏联学者Vladimir N. Vapnik和Alex ...
SVM Kernel学习笔记
SVM是机器学习里应用最广泛的模型之一,而说起SVM大家一般都会提kernel,有叫kernel function也有叫kernel trick的.这是因为实际的应用中,没有kernel的SVM也就是 ...
【20210713】【机器/深度学习】Python SVM模型学习笔记
一.处理步骤 (参考:[机器学习]python使用支持向量机SVM) 第一步:导入 svm 模块 from sklearn import svm 第二步:导入数据集 data = np.loadtxt ...
python 中任务 6.3 构建并评分分类模型(SVM模型) 学习笔记3
文章目录任务6.3 构建并评价分类模型 6.3.1 使用sklearn 估计器构建分类模型代码6-17 使用sklearn估计器构建SVM模型 sklearn 库常用分类算法函数代码 6-18 ...
机器学习入门学习笔记：（4.2）SVM的核函数和软间隔
前言之前讲了有关基本的SVM的数学模型(机器学习入门学习笔记:(4.1)SVM算法).这次主要介绍介绍svm的核函数.软间隔等概念,并进行详细的数学推导.这里仅将自己的笔记记录下来,以便以后复习查看 ...
Python3《机器学习实战》学习笔记（八）：支持向量机原理篇之手撕线性SVM
原 Python3<机器学习实战>学习笔记(八):支持向量机原理篇之手撕线性SVM 置顶 2017年09月23日 17:50:18 阅读数:12644 转载请注明作者和出处: https: ...

最新文章

热门文章