炼数成金--支持向量机 笔记
支持向量、支持平面。
要求d的极大值（即两个分离平面之间的距离最大），d最大则对应w极小，但是w的范式计算时带有根号，不方便，于是转为求w的平方极小。此时，转换为凸优化问题。
所以上述是一个凸优化问题，接下来应用拉格朗日乘子法（严格来说，叫KKT条件法）。
上面的问题为什么可以转化为拉格朗日乘子法呢？
相切点的几何意义：红线与蓝线的梯度在同一直线上。约束函数g，目标函数f。
结合公式发现，最后的解就是要满足两个函数的梯度方向相反，在同一条直线上。
严格的拉格朗日乘子法要求约束条件为等号，但是本问题中为不等号，所以是KKT条件。
可以理解为KKT条件是拉格朗日乘子法在不等式条件下的一种推广。
由于是不等式条件，所以目前还不能够求解，但是可以继续往前走——尝试将b和w消掉，得到新的拉格朗日函数。所以变成了求拉格朗日函数的系数问题，称为原拉格朗日问题的对偶问题。
回顾思路，首先我们把一个求解直观几何问题变成了求解一个凸优化问题，凸优化问题通过KKT条件变成拉格朗日问题，把偏导数等于0代进去，变成了一个拉格朗日乘子问题的对偶问题。对偶问题的形式整洁，且后半个公式是一个内积，有助于往非线性条件下推广的核函数。
简化后，对偶公式简单了，但是约束条件变多了。
这个对偶问题采用SMO算法求解。
接下来看一下非线性情况：
思路：映射到高维空间，变成线性可分能处理的问题。
维度上升以后，计算内积的计算量也上升了。——这个问题通过核函数来解决，可以在低维空间完成高维空间样本内积的计算。
即，给一个映射fai,把一个低维的非线性问题，转变为高维的线性问题，然后再找一个核函数K，又把高维空间的内积问题转变为低维空间中进行，从而消除维度灾难。但是，后来有数学家发现了更巧妙的办法——可以先在这个高维空间找一个核函数K，然后在这个K的基础上构造一个映射fai，这个fai可以把低维空间的非线性问题转变为高维空间的线性问题，并且这个K就是fai的核函数，即高维空间的内积可以用这个核函数的值来代替。这样一来不需要寻找fai，只需要构造一个合理的核函数即可。通过Mercer定理来判断核函数有效性。
在计算出w、b以后，要利用fai来判断是属于哪一类。但通过公式推导，可以将核函数代替内积部分，所以也不需要找到fai，只要有核函数就可以判别。
因此，在支持向量机中解决非线性问题是非常有效的。
炼数成金--支持向量机 笔记相关推荐
- 【炼数成金-机器学习笔记】
1.相关系数 2.虚拟变量 3.做回归之前要用样本检验函数看看是否符合正态分布,如果不符合是不能做回归的. 数据之间差异太大可以考虑对数据进行log变换. 4.多元线性回归 5.回归诊断 多重共线性( ...
- 炼数成金Tensorflow学习笔记之2.2_变量
炼数成金Tensorflow学习笔记之2.2_变量 代码及分析 代码及分析 import tensorflow as tfx = tf.Variable([1, 2]) a = tf.constant ...
- 炼数成金Tensorflow学习笔记之2.4_Tensorflow简单示例
炼数成金Tensorflow学习笔记之2.4_Tensorflow简单示例 代码及分析 代码及分析 # -*- coding: utf-8 -*- """ Created ...
- 炼数成金数据分析课程---16、机器学习中的分类算法（交叉内容，后面要重点看）...
炼数成金数据分析课程---16.机器学习中的分类算法(交叉内容,后面要重点看) 一.总结 一句话总结: 大纲+实例快速学习法 主要讲解常用分类算法(如Knn.决策树.贝叶斯分类器等)的原理及pytho ...
- 炼数成金数据分析课程---8、数据清洗
炼数成金数据分析课程---8.数据清洗 一.总结 一句话总结: 数据分析课程的实质是:介绍库中的函数:介绍py的3个常用的数据分析库(numpy,pandas,scipy)的函数的操作 实例:其实找几 ...
- 炼数成金数据分析课程---17、机器学习聚类算法（后面要重点看）
炼数成金数据分析课程---17.机器学习聚类算法(后面要重点看) 一.总结 一句话总结: 大纲+实例快速学习法 主要讲解常用聚类算法(比如K-means等)的原理及python代码实现:后面学习聚类的 ...
- 炼数成金数据分析课程---7、数据分析简介
炼数成金数据分析课程---7.数据分析简介 一.总结 一句话总结: 我终于知道他们是要做一些什么样的工作了 1.我们导入了数据,是否可以立即进行数据分析? 需要对数据做预处理:比如去除脏数据这些 2. ...
- 炼数成金数据分析课程---13、回归分析
炼数成金数据分析课程---13.回归分析 一.总结 一句话总结: 大纲+实例快速学习法 主要内容是回归分析的原理及编程实现 1.回归分析是什么? 通过建立模型来研究变量之间相互关系的密切程度.结构状态 ...
- python数据内容_炼数成金：Python数据分析内容分享
相信看这篇文章的每一位朋友,都有过努力学习 炼数成金:Python数据分析 这个课程.提升自我的想法, 可是学习是一件非常反人性的事情,大多数人都是晚上想想千条路,早上醒来走原路. 也相信很 ...
- 炼数成金邀请码：YY96
dataguru 炼数成金 邀请码 YY96 学费减免 dataguru 炼数成精 邀请码 YY96 学费减免 炼数成金邀请码,使用邀请码报名课程可以减免50%固定学费哦! http://edu.d ...
最新文章
- 基于车体约束的INS辅助定位
- xss跳转代码_从某cms的xss漏洞来学习代码审计
- Android设计模式（九）－－外观模式
- 如何用MathType插入公式编号
- Spring学习笔记15--注解Bean
- git fetch 和git pull 的差别
- SAP Spartacus npm install 里包含的 postinstall
- mysql数据库无法显示中文_mysql数据库不能显示中文是怎么回事呢？
- 小白如何购买阿里云服务器（2019最详细教程）
- 2018年华为软件精英挑战赛-初赛赛题
- linux区别sata和sas,企业级硬盘sata与sas接口区别，该怎么选择
- 忘记电脑开机密码怎么办？六种方法教你解决
- 【优化模型】推销员问题模型
- 我的世界服务器指令修复耐久,我的世界修改装备耐久度指令 | 手游网游页游攻略大全...
- makefile编写总结
- 【转贴】龙芯生态产品和解决方案巡展（第二篇）——笔记本电脑
- 刚才发现微软拼音-简洁2010是目前比较适合程序员的输入法
- JAVA 开发中常用的工具有哪些？
- 【OSATE学习笔记】AADL 样例 ARP4761 介绍
- windows10安装cuda10.2