PLA算法总结及其证明

此博客停止更新迁移至SnailDove's Blog，查看本文点击此处

PLA(Perception Learning Algorithm) 适用于二维及高维的线性可划分问题。问题的答案只有同意或者不同意。

例子

银行可以根据顾客的个人信息来判断是否给顾客发放信用卡。将顾客抽象为一个向量，包括姓名、年龄、年收入、负债数等。同时设定各个属性所占的权重向量为，对于正相关的属性设置相对较高的权重，如年收入，对于负相关的属性设置较低的权重，如负债数。表示是否想该用户发放了信用卡。通过求和的内积减去一个阀值threshold，若为正则同意发放信用卡，否则不发放信用卡。我们假设存在着一个从到的映射，PLA算法就是用来模拟这个映射，使得求出的函数与尽可能的相似，起码在已知的数据集(即样本上)上一致。

PLA算法即用来求向量，使得在已知的数据中机器做出的判断与现实数据相同。当为二维向量时，相当于在平面上画出一条直线将所有的点分成两部分，一部分同意发送，另一部分的不同意。内积可以表示成：

其中，

的值域：，，( 表示样本中的值，用于输入到算法进行调整)

结合文中例子：表示在给定的样本数据中，给该用户发放了信用卡，表示未发放。

PLA先假定为向量，然后找到一个不满足条件的点，调整的值，依次进行迭代所有样本数据使得最终可以将两部分完全分开。

W的调整方案

错误驱动调整

解释一下ppt的内容，出现错误分2种情况：

在给定的已知数据中向该用户发放了数据，即样本中第个数据为，但算法给出的结果是不发放（），说明两个向量的内积为负，需要调整向量使得两条向量更接近，此时令调整系数为样本的，则调整后的，的下标表示调整的次数，示意图:

在给定的已知数据中向该用户发放了数据，即样本中第个数据为，但算法给出的结果是不发放（），说明两个向量的内积为正，需要调整向量使得两条向量更远离，此时令调整系数为样本的，则调整后的，示意图:

注意：2种不同情况的调整的表达式都一样

对于线性可分的数据集，PLA算法是可收敛的

两个向量的内积增大说明：

两个向量夹角越小
或者向量的长度增大

老师的ppt上其中，的值域

因此

这说明每次调整后，向量的长度增加有限。不妨

带入上一公式得到：

因此最终是收敛的，到此已经证明了PLA算法最终可以停止。

算法需要调整的次数

由上述过程可以得到以下两个不等式：

那么来看这个式子：

再根据余弦值最大为1，可以得到，于是我们得到调整次数：.

PLA的优缺点

一方面，我事先肯定不知道，另一方面为了应对可能出现的噪声。那么怎么衡量当前得到的直线能够满足要求呢？我们只能在每一步的时候都判断一下，调整后的是否比上一次的能够线性可分更多的数据，于是有了下面的改进算法Pocket PLA，PocketPLA比PLA在调整的时候多做一步：判断当前改正犯的错是否比之前更小，也就是贪心选择。

Pocket PLA

参考

HappyAngel
DreamerMonkey
ppt全部来自台大《机器学习基石》课堂