机器学习-周志华-支持向量机的逻辑详解
这是博主的第一篇博客，非常激动兴奋，有误之处尽请谅解。我在读本章节时遇到很多陌生的专业词和概念，相信有些人与我一样初读时会盲目往下读而不进行深度逻辑理解。逻辑理解是指把整个章节的逻辑性串联起来，为什么突然讲这个，为什么突然引用这个概念，又为什么用这个方法。在工作面试中，好的面试官不会问细节问题，不会问公式怎么写怎么证明，而是问概念定义和这些问题的解决方法，只需要说出方法名字就可以过关，如果想表现好点就可以讲讲你这个方法的见解会更好。
好了，我们进入主题（提供有周志华书的人）
首先给以下定义
损失函数的作用：衡量模型预测的好坏，损失函数越小，模型越好。
拉格朗日乘子法作用：求最优解，由于拉格朗日函数是具有凸函数（目前没见过非凸函数的拉格朗日），凸函数的性质之一是极值点就是最值点，所以只需要用一阶导就可以求出最优解。
周志华老师的书p130页讲到软间隔（定义：允许少部分样本在该模型上出错），现在我要这个模型变好点（求最大化间隔），出错率低点，我就往这个模型加上损失函数得到
其中是损失函数，
但该损失函数不是凸函数，所以书中为什么讲到替代损失函数，用近似函数又具有凸函数性质的函数替代该损失函数（有三种，周老师的书选第一种hinge损失函数l(z)=max(0,1-z)。）
所以式子变成
好了这下两个都是凸函数，这就是为什么引用拉格朗日的前提条件，本书没有介绍凸函数我认为是有所失，因为凸加凸组成双凸式子才可以引用拉格朗日，而不用替代损失函数前是凸加非凸，不可以用拉格朗日算法。然后用拉格朗日求得最优解w的等式，再用SMO法把两变量ai与aj化成单变量ai形式，再用核函数（个人认为叫做内积函数比较好理解）求解得到ai，最后得到w，其中分解平面wx+b中的b可以用平均值，求b详见p125页。
以上是思路分析或者叫逻辑的详解，我们看书自学不能盲目的学，不能只记住怎么算，还要自己问问为什么来的。接下来第二遍我会介绍我从卷积神经网络的池化降维联想到图片像素压缩，本人，没学过机器视觉和图像之类的知识，只是灵感来源数学。
机器学习-周志华-支持向量机的逻辑详解相关推荐
- 机器学习(周志华) 参考答案 第十四章 概率图模型 14.9
机器学习(周志华西瓜书) 参考答案 总目录 http://blog.csdn.net/icefire_tyh/article/details/52064910 机器学习(周志华) 参考答案 第十四章 ...
- 机器学习 周志华 第一章课后习题
机器学习 周志华 第一章课后习题 1.1 1.2 1.3 1.4 1.5 1.1 在下面这张图片中若只包含编号为1和4的两个样例,试给出相应的版本空间. 书上实例: 1.表 1.1 对应的假设空间如下 ...
- 小吴的《机器学习 周志华》学习笔记 第二章 模型评估与选择
小吴的<机器学习 周志华>学习笔记 第二章 模型评估与选择 上一周我们介绍了第一章的基础概念,这一次将带来第二章的前三节.后面的2.4 比较检验与2.5 偏差与方差,涉及概率论与数理统计概 ...
- 小吴的《机器学习 周志华》学习笔记 第一章 绪论
小吴的<机器学习 周志华>学习笔记 第一章 绪论 近一年时间接触到不少机器学习的知识,虽然断断续续学了一些,总感觉还没有入门(只学会了疯狂调包).因此,最近开始系统学习Machine Le ...
- 小吴的《机器学习 周志华》学习笔记 第二章 2.4 比较检验、2.5 偏差与方差
小吴的<机器学习 周志华>学习笔记 第二章 2.4 比较检验. 2.5 偏差与方差 2.4 比较检验 上一周提到了实验的评价方法和性能量度,步骤简单可以看成:先使用某种实验评估方法测得学习 ...
- 机器学习 周志华 课后习题3.5 线性判别分析LDA
机器学习 周志华 课后习题3.5 线性判别分析LDA 照着书上敲了敲啥都不会,雀食折磨 python代码 # coding=UTF-8 from numpy import * # 我安装numpy的时 ...
- 西瓜书入门辅助【机器学习 周志华】一些关于机器学习的重要基础概念提炼
周志华. 机器学习 = Machine Learning. 清华大学出版社, 2016. Print. 文章目录 周志华. 机器学习 = Machine Learning. 清华大学出版社, 2016 ...
- 机器学习-周志华-学习记录-第一章绪论
文章目录 绪论 一.什么是机器学习 二.基本术语 三.假设空间 四.归纳偏好 总结 参考链接 绪论 为了更早地适应研究生的生活,我决定重新学习周志华老师的机器学习这本书.同时也为了能够养成博客记录的习 ...
- 机器学习-周志华教授
机器学习 南京大学周志华教授网课视频:https://www.xuetangx.com/learn/nju0802bt/nju0802bt/14363483/video/26163027 202210 ...
最新文章
- Java项目:控制台商城系统(java+打印控制台)
- MySQL中的共享锁与排他锁
- 【模板】RMQ问题—st表实现
- vue 使用sass 和less
- java 常用十种设计模式示例归纳 | 已打包请带走
- [Effective JavaScript 笔记]第29条：避免使用非标准的栈检查属性
- 自己做一桌丰盛晚餐犒劳犒劳
- Maven组件通过命令上传本地和私有仓库
- 透明（颜色）渐变背景（颜色透明背景），兼容IE8
- 计算机设计思想 —— 解耦（分离）与内聚
- 面经——嵌入式芯片底层
- Ansible详解（七）——Ansible palybook简单使用
- Sencha Touch 心得
- 如何找到属于自己高效学习方法？
- IT连创业系列：说说苹果商店AppStore上架App应用前后遇到的那些神坑
- TI AWR1642BOOST-ODS EVM开发板入门
- CDHtmlDialog屏蔽网页右键菜单
- python 有损和无损 方式替换表情符号
- 关于凸函数求最大值的下标的小讨论（斐波那契优选法/二分法/三分法）
- 搜索引擎（四）--相关反馈与个性化推荐