机器学习系列19：将核函数应用于支持向量机

https://www.toutiao.com/a6701463387273953806/

当我们在已知参数的情况下，如何用带有核函数的支持向量机(SVM)去训练假设函数呢?

首先我们将样本做为标记：

对于每一个 x，都要计算出它的特征 f，f 为一个向量：

如果下式成立，就可以预测 y 等于 1，也就是为正样本：

但是如何选取参数呢?我们最小化下面这个函数的时候，就可以得到参数向量：

现在还有两个系数没有选择，C 和 σ^2 。C 相当于 1/λ，之前我们学过，λ 的变化会影响高偏差或高方差。因此按照 1/λ 对高偏差或高方差的影响表现选取即可。

现在我们用数据实际观察一下 C 对 SVM 的影响。当 C 很小时，对于下列数据的决策边界如下：

如果将 C 换成 100，我们再来看此时的决策边界：

现在你对 C 是不是有一个直观的认识了呢?

σ^2 很大时，图像为：

特征 f 变化平滑，因此表现为高偏差，低方差。σ^2 很小时，图像为：

特征 f 变化激烈，因此表现为高方差，低偏差。

这样，一个完整的利用核函数的支持向量机算法就算是完成了。

如何选择使用逻辑回归或者SVM

如果特征的数量远大于样本数，就要用逻辑回归或者线性核函数(不带核函数的SVM)。

如果特征的数量比较小，而样本的数目正好合适，就用高斯核函数。

如果特征的数量比较小，而样本的数目非常大，就要用逻辑回归或者线性核函数(不带核函数的SVM)。

机器学习系列19：将核函数应用于支持向量机相关推荐

机器学习系列18：核函数
https://www.toutiao.com/a6700783341630652931/ 机器学习系列18:核函数让我们来考虑这样一个问题,现在给定一个数据集,让你划分出决策边界,该怎么办呢?数据 ...
SVM 支持向量机算法（Support Vector Machine ）【Python机器学习系列（十四）】
SVM 支持向量机算法(Support Vector Machine )[Python机器学习系列(十四)] 文章目录 1.SVM简介 2. SVM 逻辑推导 2.1 Part1 化简限制条件 2.2 ...
支持向量机回归_机器学习系列17：支持向量机
机器学习系列17:支持向量机支持向量机(Support vector machine)是一种强大的机器学习算法,和神经网络相比,它在学习复杂的非线性方程时,能够提供更清晰和更加强大的方式.为了学习支 ...
【机器学习系列】之SVM核函数和SMO算法
作者:張張張張 github地址:https://github.com/zhanghekai [转载请注明出处,谢谢!] [机器学习系列]之SVM硬间隔和软间隔 [机器学习系列]之SVM核函数和SMO ...
机器学习之手把手实现第1部分:支持向量机的原理和实现
https://www.ibm.com/developerworks/cn/analytics/library/machine-learning-hands-on1-svn/index.html 本文 ...
Weka中数据挖掘与机器学习系列之Exploer界面（七）
不多说,直接上干货! Weka的Explorer(探索者)界面,是Weka的主要图形化用户界面,其全部功能都可通过菜单选择或表单填写进行访问.本博客将详细介绍Weka探索者界面的图形化用户界面.预处理 ...
【机器学习系列】之SVM硬间隔和软间隔
作者:張張張張 github地址:https://github.com/zhanghekai [转载请注明出处,谢谢!] [机器学习系列]之SVM硬间隔和软间隔 [机器学习系列]之SVM核函数和SMO ...
机器学习系列之EM算法
机器学习系列之EM算法我讲EM算法的大概流程主要三部分:需要的预备知识.EM算法详解和对EM算法的改进. 一.EM算法的预备知识 1.极大似然估计 (1)举例说明:经典问题--学生身高问题我们需要 ...

机器学习系列19：将核函数应用于支持向量机

机器学习系列19：将核函数应用于支持向量机相关推荐

最新文章

热门文章