李航统计学习方法总结与整理

感知机（perception）：二类分类的线性模型，输入为实例的特征向量，输出为实例的类别，取+1，-1。

对应于输入空间中将样本实例分成正负两类的分离超平面，属于判别模型。

其损失函数为：所有误分类点到分类超平面的距离总和。目的为最小化这个距离总和。

$L(w,b) = -\sum_{x_{i} \in M}y_{i}(w\cdot x+b)$

其中， $-y_{i}(w\cdot x+b)$ 为误分类点到分离超平面距离。L 是 w, b 的连续可导函数。

其包括原始形式和对偶形式，采用随机梯度下降法进行求解。首先任意选择一个超平面w0，b0，然后使用梯度下降法不断的极小化目标函数，其过程不是一次使所有的M个点的梯度下降，而是随机选择一个误分类点使其梯度下降，这样以来随机梯度下降会存在震荡，但整体趋势是下降的，算法本身是收敛的。

$\begin{matrix} \bigtriangledown_{w}L(w,b) = -\sum_{x_{i}\in M}y_{i}x_{i}&\: \: \: \: \: w\leftarrow w+\eta y_{i}x_{i} \\ \bigtriangledown_{b}L(w,b) = -\sum_{x_{i}\in M}y_{i}&\: \: \: \: \: b\leftarrow w+\eta y_{i} \end{matrix}$

对偶形式的基本思想是将w和b表示为实例xi和标记yi的线性组合，通过求其解系求得w和b，本质是用 $\alpha$ 代替w属于全局数据求解

由感知机模型可以进一步推出支持向量机

支持向量机（SVM）：是一种二分类模型，定义在特征空间上的建个最大的线性分类器，这也是与感知机的区别：求间隔最大化。

支持向量机的学习策略就是间隔最大化，可形式化为求解一个凸二次规划问题，也等价于正则化的合页损失函数最小化问题。

线性可分支持向量机：硬间隔最大化

$\begin{matrix} {functional \, margin} : \hat{\gamma}_{i} = y_{i}(w \cdot x+b) \, \, \, \Rightarrow \hat{\gamma} = \min_{i=1,2,...,N} \hat{\gamma}_{i} \\ {geometic \, margin}:\gamma_{i} = y_{i}\left(\tfrac{w}{||w||} \cdot x_{i}+\tfrac{b}{||w||} \right) \Rightarrow \gamma = \min_{i=1,2,...,N} \gamma_{i} \end{matrix}$

则：

$\max_{w,b} \gamma\;\;\;\;s.t.\;\;\; y_{i}\left(\tfrac{w}{||w||} \cdot x_{i}+\tfrac{b}{||w||} \right)\geqslant \gamma, i=1,2,...,N\\ \Rightarrow \max_{w,b} \tfrac{\hat{\gamma}}{||w||}\;\;\;\;s.t.\;\;\; y_{i}\left(w \cdot x_{i}+b \right)\geqslant \hat{\gamma}, i=1,2,...,N\\ \xrightarrow{\hat{\gamma} =1,max\tfrac{1}{||w||}\Leftrightarrow min1/2||w||^{2}} \min_{w,b} \tfrac{1}{2}||w||^{2}\;\;\;\;s.t.\;\;\; y_{i}\left(w \cdot x_{i}+b \right)-1\geqslant 0$

线性支持向量机：软间隔最大化

$\min_{w,b,\xi} \tfrac{1}{2}\left \| w \right \|^{2}+C\sum_{i=1}^{N}\xi_{i}\\\\ s.t.\\ y_{i}\left(w \cdot x_{i}+b \right)\geqslant 1-\xi_{i},\;\;\;i=1,2,...,N\\ \xi_{i}\geqslant 0 \;\;\;i=1,2,...,N$ NOTE: w的解唯一，b的解不唯一，存在于一个区间中

非线性支持向量机：核函数 + 软间隔最大化

通过非线性变换将非线性问题转化为线性问题。

这里引入了核函数将输入空间映射为特征空间，核函数： $K(x,z) = \phi(x) \cdot \phi(z)$ , 在学习与预测中只定义核函数，不显示定义函数 $\phi$

常用核函数

多项式核函数：

$K(x,z)=(x \cdot z +1)^{p}$

,对应的支持向量机是一个p次多项式分类器，分类决策函数为：

$f(x) = sign\left( \sum_{i=1}^{N_{s}}\alpha_{i}^{*}y_{i}(x_{i} \cdot x+1)^{p} +b^{*} \right )$

高斯核函数：

$K(x,z)=\exp\left(-\tfrac{\left\|x-z\right\|^{2}}{2\sigma^{2}} \right )$

对应的支持向量机为高斯径向基函数分类器，分类决策函数为：

$f(x) = sign\left( \sum_{i=1}^{N_{s}}\alpha_{i}^{*}y_{i}\exp\left(-\tfrac{\left\|x-z\right\|^{2}}{2\sigma^{2}} \right )+b^{*} \right )$

字符串核函数：

$k_{n}(s,t) = \sum_{u \in \Sigma^{n}}[\phi_{n}(s)]_{u} [\phi_{n}(t)]_{u} =\sum_{u \in \Sigma^{n}}\sum_{(i,j):s(i)=t(j)=u} \lambda^{l(i)}\lambda^{l(j)}$

原始问题：	对偶问题：
$\min_{x \in \mathbb{R}^{n}}f(x)\\ \\ s.t. \\c_{i}(x)\leqslant 0,\;\;\;i ={1,2,...,k}\\ h_{j}(x)=0,\;\;\;j=1,2,...,l$	$\max_{\alpha, \beta}\theta_{D}(\alpha, \beta) =\max_{\alpha, \beta}\min_{x}L(x, \alpha, \beta)\\ \\s.t.\;\;\; \alpha_{i}\geqslant 0,\;\;\;i=1,2,...,k$

KKT（Karush-Kuhn-Tucker）条件：

对原始问题和对偶问题，如果函数 f(x) 和ci(x) 是凸函数，hj(x) 是仿射函数，并且不等式约束ci(x)是严格可行的，则 $x^{*},\alpha^{*},\beta^{*}$ 分别是原始问题和对偶问题的解的充分必要条件是 $x^{*},\alpha^{*},\beta^{*}$ 满足以下条件：
$\center \triangledown _{x}L({x^{*},\alpha^{*},\beta^{*}}) = 0\\ \alpha_{i}^{*} c_{i}({x^{*})=0,\;\;\;i=1,2,...,k\\ c_{i}({x^{*})\leq 0,\;\;\;i=1,2,...,k\\ \alpha_{i}^{*}\geq 0,\;\;\;i=1,2,...,k\\ h_{j}({x^{*})=0,\;\;\;i=1,2,...,k$

且， $\alpha_{i}\geq 0,\;\;\;i=1,2,...,k$ 是对偶互补条件，即：若 $\alpha_{i}^{*}> 0$ ，则 $c_{i}({x^{*})=0$

最后给出求解svm的SMO算法：

SMO算法假设如果所有的变量的解都满足KKT条件，则此问题的解就找到了。否则选择两个变量，固定其他变量，针对这两个变量构建一个二次规划问题，这个二次规划问题关于这两个变量的解应该更接近原始二次规划问题的解，因为这会使得原始二次规划问题的目标函数值变得更小。重要的是，这时子问题可以通过解析方法求解从而加快整个算法的计算速度。子问题有两个变量，一个是违反KKT条件最严重的一个，另一个由约束条件自动确定。如此，SMO算法将原问题不断分解为子问题并对子问题求解，进而达到求解原问题的目的。

李航统计学习方法总结与整理相关推荐

统计学习方法 pdf_李航统计学习方法（第三章）
第3章 k 近邻法 k 近邻法(k-NN)是一种基于实例的学习方法,无法转化为对参数空间的搜索问题(参数最优化问题).它的特点是对特征空间进行搜索.除了k近邻法,本章还对以下几个问题进行较深入的讨论: ...
【李航统计学习方法】感知机模型
目录一.感知机模型二.感知机的学习策略三.感知机学习算法感知机算法的原始形式感知机模型的对偶形式参考文献本章节根据统计学习方法,分为模型.策略.算法三个方面来介绍感知机模型. 首先介绍感 ...
李航统计学习方法笔记——泛化误差上界
泛化误差上界 References 统计学习方法(第2版)李航著 p25~27 定理对于二分类问题,当假设空间是有限个函数的集合F={f1,f2,...,fd}F=\{f_1,f_2,...,f_d ...
机器学习：李航-统计学习方法-代码实现
<统计学习方法>的代码实现分享 <统计学习方法>这本书,附件里并没有代码实现,于是许多研究者复现了里面算法的代码,并放在github里分享,这里介绍几个比较热门的<统计学 ...
《李航统计学习方法》学习笔记——第八章提升方法
提升方法 8.1提升方法AdaBoost 8.1.1提升方法的基本思路 8.1.2AdaBoost算法 8.1.3AdaBoost的例子(代码实现) 8.2AdaBoost算法的训练误差分析定理8. ...
学习笔记：李航统计学习方法
是关于李航的<统计学习方法>的学习笔记主要是看七月在线的网课 1 统计学习及监督学习概论 1.1 基础概念概念:关于计算机基于数据构建概率统计模型.并运用模型对数据进行预测与分析的一门 ...
李航统计学习方法课后习题答案第二版
李航<统计学习方法>课后习题答案(第2版)
李航统计学习方法第二版课后习题答案机器学习
李航<统计学习方法>课后习题答案(第2版)
李航-统计学习方法-笔记-1：概论
写在前面本系列笔记主要记录<统计学习方法>中7种常用的机器学习分类算法,包括感知机,KNN,朴素贝叶斯,决策树,逻辑斯谛回归与最大熵模型,SVM,boosting. 课本还涉及到3种算法 ...
机器学习（李航统计学习方法）
目录绪论-资料介绍绪论-频率派vs贝叶斯派频率派的观点贝叶斯派的观点监督学习与无监督学习单变量线性回归模型表示代价函数梯度下降多变量线性回归多维特征多变量梯度下降梯度下降法实 ...

李航统计学习方法总结与整理

李航统计学习方法总结与整理相关推荐

最新文章

热门文章