一、非线性模型的最优化问题

1、非线性模型最优化模型

2、两个概念

1）正则项（regularization term）

2）调参参数

2、高维映射

1）定义及作用

2）高维映射后的最优化模型

3）异或问题（例子）

4）如何定义映射？（寻找确定映射关系——核函数的确定）

核函数与高维映射的关系：

常用核函数：

核函数K可以拆写成高维映射的内积的条件：

二、总结

如何通过核函数来代替优化问题中限制条件中的高维映射进而对最优化问题进行求解呢？

课程链接：《浙江大学-研究生机器学习课程》

一、非线性模型的最优化问题

至于什么是非线性方程在《机器学习理论——支持向量机SVM之线性模型》中已经讲过，不再赘述

1、非线性模型最优化模型

在线性模型的基础上，添加一个正则项和改变限制条件就得到了非线性模型

已知量：训练数据——xi，标签——yi，系数——C；

未知量：权重系数——w，偏置——b，松弛变量——（slack variable）

2、两个概念

1）正则项（regularization term）

正则项使得目标函数规划化，让没有解的问题变得有解（如线性模型在非线性情况下就没有解，这时候加上合适的正则项后有解可取），或者求得的解不是我们所需要的解的时候则我们需要进行正则项的添加

2）调参参数

C是事先设定好的值，作用是用来对目标函数w和松弛变量间进行权衡的作用，是一个权重。那具体取什么值呢？一般取值没有固定的取值，C的大小决定了模型分类时容错率的大小，C越大，说明容错率越小，越小则表明容错率越大，容错率就是没有正确被归类的占比

2、高维映射

1）定义及作用

在非线性模型中寻找一条直线进行二元分类似乎已经不太适用（如上图找不到直线进行二元分类），但是通过映射，将低维的量映射到高维，即通过高维映射后，在高维空间中，更有可能线性可分进行二元分类。维度越高，线性可分的概率越大

2）高维映射后的最优化模型

3）异或问题（例子）

异或问题是最简单的非线性模型，在低维下没法找到一条直线将二元分类

其中一个解：

验证结果正确性（判断是否线性可分）

注：

维度越高，线性可分的概率越大

维数为无限时，线性可分的概率为1

4）如何定义映射？（寻找确定映射关系——核函数的确定）

主要思路：我们不需要知道映射的确切关系，只需要知道由低维样本组成的核函数的形式即可，因为核函数可以拆分为高维映射的内积

核函数与高维映射的关系：

常用核函数：

核函数K可以拆写成高维映射的内积的条件：

二、总结

这节主要给出了非线性模型最优化问题，以及非线性最优化问题求解的思路——高维映射，利用核函数替代最优化问题中的高维映射进行求解

如何通过核函数来代替优化问题中限制条件中的高维映射进而对最优化问题进行求解呢？

请看：《机器学习理论——支持向量机SVM之非线性模型（原问题和对偶问题）》

机器学习——支持向量机SVM之非线性模型（低维到高维映射）相关推荐

机器学习——支持向量机SVM之非线性模型（原问题和对偶问题）
目录一.原问题(prime problem) 二.原问题的对偶问题(dual problem) 1.定义一个辅助函数 2.定义对偶问题 >>>问题1:上面说到遍历w,那w的取值范围 ...
机器学习——支持向量机SVM之非线性模型（原问题转化为对偶问题）
目录一.复习(原问题.对偶问题.KKT条件.凸函数) 二.将最优化问题标准化为原问题(严格转化为标准形式) 1.原最优化问题 2.标准化后的问题三.转化为对偶问题(注意变量的对应关系) 四.对对偶 ...
机器学习——支持向量机SVM之线性模型
目录一.没有免费的午餐定理二.支持向量机SVM(support vector machine) 1.线性模型和非线性模型 2.如何在线性模型中画出一条直线(优化过程--vplink) 1)多少条? ...
非线性动力学_非线性动力学特辑低维到高维的联通者
序言: 本文将以维度为主线, 带量大家进入非线性动力学的世界. 文章数学部分不需要全部理解, 理解思维方法为主非线性动力学,是物理学的思维进入传统方法所不能解决的问题的一座丰碑.它可以帮助我们理解不 ...
机器学习-支持向量机SVM算法
文章目录简介原理硬间隔支持向量对偶问题软间隔核函数 SMO算法小结多分类问题回归问题应用示例前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家.点 ...
机器学习支持向量机SVM笔记
SVM简述: SVM是一个线性二类分类器,当然通过选取特定的核函数也可也建立一个非线性支持向量机.SVM也可以做一些回归任务,但是它预测的时效性不是太长,他通过训练只能预测比较近的数据变化,至于再往后 ...
Python 西瓜书机器学习支持向量机(SVM)
%matplotlib inline #为了在notebook中画图展示 import numpy as np import matplotlib.pyplot as plt from scipy i ...
机器学习——支持向量机SVM之多分类问题
目录方法1:改造目标函数与限制条件方法2:一类对其他类(类数为N,需要建立N个SVM模型) 情形1:多个SVM模型结果交集得出确切归类情形2:多个SVM模型结果交集没有得出确切归类方法3:一类 ...
机器学习——支持向量机SVM实例（兵王问题，SVM求解步骤以及思路，不求解不编程）
目录一.问题描述(兵王问题) 二.步骤 1.获得数据 2.样本划分(训练样本和测试样本) 3.训练样本得到SVM模型 1)数据处理 2)训练样本和测试样本归一化 3)选择核函数和调参 4)明确任 ...

机器学习——支持向量机SVM之非线性模型（低维到高维映射）

一、非线性模型的最优化问题

1、非线性模型最优化模型

2、两个概念

1）正则项（regularization term）

2）调参参数

2、高维映射

1）定义及作用

2）高维映射后的最优化模型

3）异或问题（例子）

4）如何定义映射？（寻找确定映射关系——核函数的确定）

核函数与高维映射的关系：

常用核函数：

核函数K可以拆写成高维映射的内积的条件：

二、总结

如何通过核函数来代替优化问题中限制条件中的高维映射进而对最优化问题进行求解呢？

机器学习——支持向量机SVM之非线性模型（低维到高维映射）相关推荐

最新文章

热门文章