写在前头

本系列博客主要是对我大三这一年学到的知识整理，参考课程的ppt和林轩田老师的机器学习基石，侵删

1.感知器算法简介

感知器算法主要用于线性可分特征向量的二分类问题。算法的核心是两个要点，一是线性可分，二是二分类（可以1vN或者1v1拓展至多类，暂且不讨论）。

要说线性可分，首先需要明确什么是特征向量。特征向量就是原始数据经过特征提取算法之后生成的一个高维的向量，你可以认为它的每一个维度表示了目标的一个属性。例如：

输入是一个图像，而输出是一个d维的向量，中间是不同的特征提取算法（像素，主成分分析，词袋等等）。而线性可分指的就是有一条高维的直线（超平面），可以让两类数据分别置于超平面的两侧。而既然分类面是一个超平面，那么分类的结果只能是平面的一侧和另一侧中的一个，也就是一个二分类。我们假设特征向量是一个二维的特征向量，线性可分和不可分的例子如下：
上图的x轴和y轴分别是特征向量的两个维度，而黑色的线就是分界面。可以很直观地感到第一张图是线性可分，而二是线性不可分，三的分界面是一个曲线，因此也是线性不可分。

由此，我们可以定义分界面的函数。从最简单的二维说起，我们知道一条二维直线可以表示为ax+by+c=0ax + by + c = 0ax+by+c=0,那么，我们就可以定义评估函数g(x)=w1x1+w2x2+w0g(x) = w_1x_1 + w_2x_2 + w_0g(x)=w1x1+w2x2+w0
这个评估函数就代表了了上面的那条直线，当g(x)>0g(x) > 0g(x)>0,可以说特征向量位于分界面的正侧，当g(x)<0g(x)<0g(x)<0，可以说特征向量位于分界面的负侧，否则就在分界面上。将这个二维的分界面（直线），推广到高维，那么他就是一个超平面了：g(x)=∑i=1dwixi+w0g(x) = \sum_{i=1}^dw_ix_i + w_0g(x)=i=1∑dwixi+w0
将xxx拓展一维x0=1x_0 = 1x0=1，就可以化为更简单的形式g(x)=∑i=0dwixig(x) = \sum_{i=0}^dw_ix_ig(x)=i=0∑dwixi
最后我们使用一个signsignsign函数，就可以完成分类的判别：y(x)=sign(wTx)y(x) = sign(w^Tx)y(x)=sign(wTx)
其中www是写成列向量形式的权重，y(x)y(x)y(x)是判别的结果，1为正样本，-1为负样本。

2.Perceptron Learning Algorithm（PLA）

这一节，我将说明感知器学习算法（PLA）是如何找到这一个分类面的。

2.1权重向量和特征向量到分类面的距离

首先是权重向量，从上节的推导中不难看出，www显然是垂直于这个分界面g(x)=0g(x) = 0g(x)=0的，证明方法很简单，只需要任取两个在g(x)=0g(x) = 0g(x)=0上的向量x1→,x2→\overrightarrow{x_1}, \overrightarrow{x_2}x1,x2带入g(x)=wTx+w0g(x) = w^Tx + w_0g(x)=wTx+w0做差即可得到wT⋅(x1−x2)=0w^T \cdot (x_1 - x_2) = 0wT⋅(x1−x2)=0,即www是分界面的法向量。

特征向量x→\overrightarrow{x}x到分类面的距离也可以由g(x)g(x)g(x)得到：设x1→\overrightarrow{x_1}x1是分界面上的点，x1x→\overrightarrow{x_1x}x1x垂直于g(x)=0g(x)=0g(x)=0,那么x→\overrightarrow{x}x就可以写作x1→+x1x→\overrightarrow{x_1} + \overrightarrow{x_1x}x1+x1x,从而得到g(x→)=g(x1x→)+g(x1x→)=g(x1x→)g(\overrightarrow{x}) = g(\overrightarrow{x_1x})+g(\overrightarrow{x_1x}) = g(\overrightarrow{x_1x})g(x)=g(x1x)+g(x1x)=g(x1x)，而x1x→\overrightarrow{x_1x}x1x垂直于分界面，因此可以得到距离
r=g(x→)∥w∥r = \frac{g( \overrightarrow{x})}{\|w\|}r=∥w∥g(x)
距离函数是很重要的，在进行聚类算法的时候会大量地使用距离函数进行判别。上式的证明过程用下图可以更加直观地表示：

2.2PLA的原理和流程

我们采用y^(x)=sign(wTx)\hat{y}(x) = sign(w^Tx)y^(x)=sign(wTx)来进行推导，wTxw^TxwTx可以看做是向量内积，因此可以写成∥w∥⋅∥x∥∗cos<w,x>\|w\|\cdot\|x\| * cos<w,x>∥w∥⋅∥x∥∗cos<w,x>显然，当夹角大于90时，会被判成负样本，反之则为正样本。而PLA算法的根本思想，就是从错误的样本出发，修正分界面，不断迭代，直到收敛。
下面我们来看看PLA是如何进行修正的，如果一个样本xnx_nxn错分了，那么下一个www的表达式就是
wt+1=wt+yn∗xnw_{t+1} = w_t + y_n * x_nwt+1=wt+yn∗xn
上式可以看做wtw_twt和yn∗xny_n * x_nyn∗xn这两个向量的合成，当xnx_nxn被错分成负样本的时候(yn=1y_n = 1yn=1, y^n=−1\hat{y}_n = -1y^n=−1)，夹角大于九十度，合成之后wt+1w_{t+1}wt+1与xnx_nxn的夹角就会变小，更有可能将它分成正样本。当xnx_nxn被错分成正样本的时候，道理是一样的。因此，PLA的流程就很明确了：

令t=0,1,2…t=0,1,2…t=0,1,2…
1.找到wtw_twt错分的样本(xn,ynx_n, y_nxn,yn)
2.wt+1=wt+yn⋅xnw_{t+1} = w_t + y_n \cdot x_nwt+1=wt+yn⋅xn
如此迭代直到所有的样本均分类正确

2.3PLA的收敛性证明

有了PLA的流程，我们会有一个疑问，这么做到底会不会收敛呢？如果是线性可分的数据集，答案是一定可以收敛，并且在常数时间内收敛。下面我们来证明:

若样本集线性可分，那么一定存在一个最佳的分类面wfw_fwf，使得ynwfTxn>0y_nw_f^Tx_n >0ynwfTxn>0对任意(xn,ynx_n,y_nxn,yn)都成立，即ynwfTxn⩾min⁡n(ynwfTxn)>0y_nw_f^Tx_n \geqslant\underset{n}{ \operatorname{min}}(y_nw_f^Tx_n)>0ynwfTxn⩾nmin(ynwfTxn)>0
在一次迭代后:
wfT⋅wt+1=wfT⋅wt+wfTynxn⩾wfT⋅wt+min⁡n(ynwfTxn)>wfT⋅wt\begin{aligned} w_{f}^{T} \cdot w_{t+1} &= w_f^T\cdot w_{t} + w_f^Ty_nx_n \\ &\geqslant w_f^T \cdot w_{t} +\underset{n}{\min}(y_nw_f^Tx_n) \\ & >w_f^T\cdot w_{t} \end{aligned} wfT⋅wt+1=wfT⋅wt+wfTynxn⩾wfT⋅wt+nmin(ynwfTxn)>wfT⋅wt
因此wfT⋅wtw_f^T \cdot w_twfT⋅wt的值是在不断变大的，说明这两个向量在不断接近。
另一方面，由于只更新错分的样本,因此对于错误样本(xn,yn)(x_n, y_n)(xn,yn),ynwtTxn≤0y_{n} w_{t}^{T} x_{n} \leq 0ynwtTxn≤0
∥wt+1∥2=∥wt+ynxn∥2=∥wt∥2+2ynwtTxn+∥ynxn∥2≤∥wt∥2+0+∥ynxn∥2≤∥wt∥2+max⁡n∥xn∥2\begin{aligned} \left\|w_{t+1}\right\|^{2} &=\left\|w_{t}+y_{n} x_{n}\right\|^{2} \\ &=\left\|w_{t}\right\|^{2}+2 y_{n} w_{t}^{T}x_{n}+\left\|y_{n} x_{n}\right\|^{2} \\ & \leq\left\|w_{t}\right\|^{2}+0+\left\|y_{n}x_{n}\right\|^{2} \\ & \leq\left\|w_{t}\right\|^{2}+\max _{n}\left\| x_{n}\right\|^{2} \end{aligned} ∥wt+1∥2=∥wt+ynxn∥2=∥wt∥2+2ynwtTxn+∥ynxn∥2≤∥wt∥2+0+∥ynxn∥2≤∥wt∥2+nmax∥xn∥2
假设从w=0开始迭代，结合上面两个式子，则有
wfT∥wf∥wT∥wT∥≥T⋅min⁡n(ynwfTxn)∥wf∥⋅T⋅max⁡n∥xn∥2=T⋅constant \frac{w_{f}^{T}}{\left\|w_{f}\right\|} \frac{w_{T}}{\left\|w_{T}\right\|} \geq \frac{T \cdot \underset{n}{\min}(y_nw_f^Tx_n) }{\left\|w_{f}\right\| \cdot \sqrt{T} \cdot \underset{n}{\max}\left\| x_{n}\right\|^{2}} = \sqrt{T} \cdot \text { constant } ∥wf∥wfT∥wT∥wT≥∥wf∥⋅T⋅nmax∥xn∥2T⋅nmin(ynwfTxn)=T⋅ constant
可以证明迭代次数TTT有上确界

3.不可分数据的优化方式

实际得到样本的时候，是否线性可分往往是未知的，PLA有可能并不收敛。对于这种情况，自然而然就想到一些近似地办法。比如试探法，尝试更新一次权重，如果正确分类的样本增多，就替换权重，否则保留最佳。再比如采用不同的步长，进行试探等等。或者采用别的方法，比如梯度下降，核向量机等等，这都是后话了。

模式识别系列（一）感知器算法（PLA）相关推荐

感知器算法(PLA)
PLA全称是Perceptron Linear Algorithm,简称PLA 原理 <统计学习基础> 李航感知器是二分类的现行分类模型,其输入为实力的特征向量,输出为实例的类别,取+1 ...
【基础机器学习算法原理与实现】使用感知器算法LDA、最小二乘法LSM、Fisher线性判别分析与KNN算法实现鸢尾花数据集的二分类问题
本文设计并实现了PerceptronLA.PseudoIA.LeastSM.LinearDA.KNN等五个算法类,以及DataProcessor的数据处理类.对感知器算法LDA.最小二乘法LSM的伪逆 ...
感知器算法原理详解及python实现
感知器算法PLA 感知器算法是对一种分类学习机模型的称呼,属于有关机器学习的仿生学领域中的问题,由于无法实现非线性分类而下马.但"赏罚概念(reward-punishment concept ...
线性判别函数（Python实现批感知器算法、Ho Kashyap算法和MSE多类扩展方法）——模式识别编程作业
文章目录写在前面批感知器算法 Ho Kashyap算法 MSE多类扩展方法 Ref. 写在前面本博客为模式识别作业的记录,实现批感知器算法.Ho Kashyap算法和MSE多类扩展方法,可参考教 ...
模式识别感知器算法matlab,模式识别第三章-感知器算法.doc
模式识别第三章-感知器算法模式识别第三章感知器算法一．用感知器算法求下列模式分类的解向量w: 将属于的训练样本乘以(-1),并写成增广向量的形式: ,,, ,,, 第一轮迭代:取, 因不大于0, ...
【模式识别】C++实现感知器算法
一.问题描述编写一个感知器算法程序,用此程序求解下列模式分类的解向量: ω1:{(0 0 0),(1 0 0),(1 0 1),(1 1 0)} ω2:{(0 0 1),(0 1 1),(0 1 0 ...
模式识别+Matlab 感知器算法/LMSE算法
更新时间:2020/5/20 一.分类器 1.基于赏-罚概念的感知器算法算法原理简介: MATLAB代码实现: clc; clear all; %%初始化 %w1=[1 0 1;0 1
局部加权回归、逻辑斯蒂回归、感知器算法—斯坦福ML公开课笔记3
转载请注明:http://blog.csdn.net/xinzhangyanxiang/article/details/9113681 最近在看Ng的机器学习公开课,Ng的讲法循循善诱,感觉提高了不少 ...
MATLAB实现遥感图像分类——感知器算法
前言这些代码均是使用最基础的方法,通过一步一步迭代过程来理解算法的原理及实现过程,并不采用于实用工程,读者以此作为学习参考即可. 监督分类监督分类的概念:首先使用训练样本学习一个分类器,再对测试样 ...

模式识别系列（一）感知器算法（PLA）

目录