斯坦福公开课《机器学习》第五章SVM笔记

为函数间隔的定义

考虑训练样本里r hat的最小值，对应的是训练样本里函数间隔的最坏情形：

几何间隔：

= r hat / || w ||

最优间隔分类器的定义：

拉格朗日对偶性：略。

若要dual*=primary*=L(w*, α*, β*)，w*, α*，β*满足KKT dual complementarity condition（KKT对偶互补条件）：

优化间隔分类器：

考虑此分类器的定义，令：

则可得拉格朗日优化问题：

对w, b求偏导数如下：

此外又有：

进而得到：

核函数：（未理解明白）

用核函数代替上式中的内积，将变量映射到更高维空间。这样计算内积就好，而不必把向量装入内存（事实上也装不下）。

此式对应的映射为：

高斯核：

如何判断一个核是valid的：

即：K是一个valid的核等价于它所对应的核矩阵是对称半正定矩阵

在数据是非线性可分的情况下：

称为 L1 norm soft margin SVM。是一个凸优化问题。

它允许间隔小于1，即允许有错误的分类。

SMO算法：

坐标上升算法：

这个算法的迭代次数比较多，但在某时某情况下如果W(a1,,,am)中的某个参数求最优值的代价非常小，那么内层循环将会非常快。

SMO：

如果像svm那样只对一个α求解，同时固定其他的α。由等式（19）得到

即α也就固定了。SMO同时对两个α求解，随即得到：

此式是一个一元二次函数，易得到α1。

Andrew Ng让在John Platt的论文里寻找下面两个问题的答案：

SMO算法：

由等式

可知问题转化为求α的问题，如下：

此等式中各个参数的求解如下：

ps:不知不觉好久不写笔记。

斯坦福公开课《机器学习》第五章SVM笔记相关推荐

【斯坦福公开课-机器学习】1.机器学习的动机和应用（吴恩达 Andrew Ng）
文章目录 0三个目标 0先修课程要求基本工具 1-网址 2-邮箱 3-本系列课程链接 1机器学习的定义 1-1非正式定义 1-2正式的定义 2监督学习(Supervised Learning) 2- ...
斯坦福公开课机器学习课1
监督学习 supervised learning:通过已有的正确的输入-输出来建立模型. 学习理论 learning theory:近似函数. 无监督学习 unsupervised learning: ...
斯坦福公开课机器学习课2
监督学习:梯度下降(gradient descent).m表示样本个数,x表示输入变量(特征),y表示输出变量(目标变量). 转载于:https://www.cnblogs.com/tessaiga/ ...
2019微信公开课Pro微信之夜内容笔记总结
2019微信公开课Pro 微信之夜内容笔记总结小程序入口我的小程序任务栏入口线下扫码搜索小程序附近小程序升级用户留存问题小程序成长关注用户需求性能监控广告主&&流 ...
第五章——决策树笔记（《统计学习方法》-李航）
第五章--决策树笔记(<统计学习方法>-李航) 本文主要记录自己学习李航的小蓝书的过程,之前的4张有时间再补上.本文只做知识点整理,不做详细的见解,因为我认为,依照本人的知识水平,不可能比 ...
HTML4基本编译原理,Stanford公开课《编译原理》学习笔记(1~4课)
课程里涉及到的内容讲的还是很清楚的,但个别地方有点脱节,任何看不懂卡住的地方,请自行查阅经典著作<Compilers--priciples, Techniques and Tools>(也 ...
Android深度探索--HAL与驱动开发----第五章读书笔记
第五章主要学习了搭建S3C6410开发板的测试环境.首先要了解到S3C6410是一款低功耗.高性价比的RISC处理器它是基于ARMI1内核,广泛应用于移动电话和通用处理等领域. 开发板从技术上说与我们 ...
【Mechine Learning】斯坦福公开课学习笔记1
很早开始接触机器学习的概念,在一些比赛中调用过OpenCV的级联分类器函数做图像识别,但是一直以来都没有去了解其基本算法,因此在Coursera里参加斯坦福大学Professor Andrew Ng的 ...
免费公开课 | 机器学习的第二次入门
机器学习第二次入门 AI科技大本营在线公开课第15期主题:机器学习第二次入门时间:9月6日 20:00-21:00 扫码添加小助手,备注:机器学习,邀你入群入群福利:讲师交流+PPT分享+抽奖送 ...
斯坦福公开课密码学 cryptography 1 思维导图
本文是根据Stanford Univ. 公开课密码学1的整理而成的思维导图,该课程由大名鼎鼎的Dan Boneh教授的. 本人特别推荐这门公开课.虽然他讲话很快,但是语言表述清晰,而且很大部分已经有中 ...

斯坦福公开课《机器学习》第五章SVM笔记

斯坦福公开课《机器学习》第五章SVM笔记相关推荐

最新文章

热门文章