SVM和感知机的区别（转载+自己笔记）

感知机和SVM的区别：
1、相同点
都是属于监督学习的一种分类器（决策函数）。
2、不同点

感知机追求最大程度正确划分，最小化错误，效果类似紫线，很容易造成过拟合。支持向量机追求大致正确分类的同时，一定程度上避免过拟合，效果类似下图中的黑线。

感知机使用的学习策略是梯度下降法，感知机的目标是：
minw，bL(w,b)=−∑xi∈M⋅yi⋅(w⋅xi+b)min_{w，b}L(w,b)=-\sum_{x_i∈M}·y_i·(w·x_i+b)minw，bL(w,b)=−∑xi∈M⋅yi⋅(w⋅xi+b)
所谓的梯度下降就是让下面两个式子的绝对值的数值不断降低，降低为接近0为止，其实就是在模仿求导的效果，因为下面两个式子接近0的时候，也就是求导为0的时候。
▽w(w,b)=−∑xi∈Myi⋅xi\triangledown_w(w,b)=-\sum_{x_i∈M}y_i·x_i▽w(w,b)=−∑xi∈Myi⋅xi
▽b(w,b)=−∑xi∈Myi\triangledown_b(w,b)=-\sum_{x_i∈M}y_i▽b(w,b)=−∑xi∈Myi
而SVM采用的是由不等式约束条件构造拉格朗日函数，然后求偏导令其为0，根据一大堆的ai参数（一直迭代到满足kkt
条件为止，kkt条件是用来满足不等式约束下的拉格朗日乘子法的泛化），来最终求得w和b。

这里特别说明下一般我们的拉格朗日函数是符合凸函数的，因此对于凸函数一定存在极值点，也是唯一的最优解。而一般的非凸函数，只好采用梯度下降法一步一步的求得极值点，如果非凸函数还是采用求导令为0，可能找不到极值点！因为鞍点也是导数为0，但却不是极值点的特例，如y = x^3函数。导数为0是函数极值点的必要条件。

本文来自老司机的诗和远方的CSDN 博客，全文地址请点击：https://blog.csdn.net/touch_dream/article/details/63748923?utm_source=copy

SVM和感知机的区别（转载+自己笔记）相关推荐

转载--【笔记】Asp.Net构架(Http请求处理流程)
转载--[笔记]Asp.Net构架(Http请求处理流程) 最近接触了一些Asp.Net开发人员,在聊到技术的时候,发现很多的Asp.Net开发人员都不明白在ASP.NET中一个页面请求的处理流程,今 ...
SVM与感知机的异同点
SVM与感知机的异同点相同的地方 SVM与感知机一样是通过寻找超平面,用于解决二分类问题的分类算法超平面一侧的点计算分数结果为负是负例,另一侧结果分数为正是正例与感知机相同,通过 sign 给出预 ...
取模（mod）与取余（rem）的区别——Matlab学习笔记
取模(mod)与取余(rem)的区别--Matlab学习笔记http://www.bieryun.com/1099.html 昨天在学习Matlab的数学函数时,教程中提到取模(mod)与取余(rem ...
.NET 的 WCF 和 WebService 有什么区别?(转载)
.NET 的 WCF 和 WebService 有什么区别?(转载) [0]问题: WCF与 Web Service的区别是什么? 和ASP.NET Web Service有什么关系? WCF与ASP ...
postfix中recipient/client/sender/helo四者的区别转载
postfix在main.cf中用下面四个做限制,那么这四者到底有什么区别? smtpd_recipient_restrictions smtpd_client_restrictions smtpd_ ...
多层感知机和神经网络的区别_学习笔记－从神经元到神经网络
人的大脑神经网络的复杂程度有人说,只有银河系可以比拟.总所周知,神经网络就是模仿大脑神经网络用数学知识构造的模型.单个神经元还是比较简单的. 神经元一个神经元有树突,轴突,和细胞体等部分.树突接受输 ...
SVM推导过程及SMO详细求解过程（转载+自己笔记）
转载自: https://blog.csdn.net/xuanyuansen/article/details/41078461 下面的tn是标签值这里稍微解释下,上面的|wx+b|/w是咋在处理的, ...
jquery和javascript的区别(转载自脚本之家)
jquery 就对javascript的一个扩展,封装,就是让javascript更好用,更简单,为了说明区别,下面与大家分享下JavaScript 与JQuery 常用方法比较 jquery 就对j ...
转载学习笔记：c++atoi
c++中的atoi()和stoi()函数的用法和区别鸡啄米的时光机 2018-08-27 20:58:41 28304 收藏 28 最后发布:2018-08-27 20:58:41首发:2018-0 ...

SVM和感知机的区别（转载+自己笔记）

SVM和感知机的区别（转载+自己笔记）相关推荐

最新文章

热门文章