博主发现之前写的博客都是偏程序方面，而较少涉及数学或算法方面的东西，其实无论什么软件工具，最终都是为了更好地给理论铺路搭桥，所以我觉得不应该就某个程序贴个博客，而是在实际算法研究中，将理论描述清晰，再通过工具实现，两个结合。

废话不多说，最近上台湾大学的ML课程，说到PLA（perception learning algorithm）算法，涉及到ML的一个入门算法，我花了一些时间消化整理，在这里跟大家分享一下，希望大家再回过头去看台湾大学ML课程的时候，能更加如鱼得水。

算法具体如下：

PLA是一种能够通过自己学习而不断改进的分类算法，可将二维或者更高维的数据切分成对应不同的种类（1和-1），假设我们有n个数据样本，每个数据样本对应的维度为m，可以表示成如下：

对于每个样本，其对应的类别为1或-1，可表示为如下：

我们假设一条直线：

其对应为样本m个维度的系数，这里需要注意的是，我们的目标是求解出W的值，将对应的两种类别很好地分开，而不是在样本中做回归求误差最小。

所以我们的目标是使下面式子成立：

其中sign是符号函数，对于所有的正数，返回1，对于所有非正数返回-1.

可以通过将表示为而化简上市，其中，则有如下：                                                                                                   （1）

实际过程中上述等式可能没办法在一开始就成立，所以当等式不成立的时候，我们需要某种方法来修正过程中的W参数，下面举个栗子：

比如我们计算出来：      是正的，而却是负的，从某种意义上来说，W参数是偏大的；而当是负的，而对应的却是正的，那么W参数是偏小的，那么，我们该如何调整W参数呢？

可以通过如下：

这样我们就可以通过将对应的W参数自主学习调整为越来越靠近正确的W。

也许你会问，为什么这样通过修改W最后一定会收敛？或者换个说法，为什么通过这样不断地变化W参数，最后一定会有一条直线能将样本较好地分开呢？

下面我会证明上面这个问题，也就是证明PLA算法的收敛性：

假设存在一条直线能将我们样本数据很好分类，那么则有：

该式对应上文式（1），这里我通过向量表示消除符号过多的问题。

为了证明W会朝着靠拢，我们可以构造如下式子：

                                                                                                   （2）

其中我们上文以及假设是正确的分类线，那么意味式（2）中，

则算法在每次迭代修改W时，，那么从向量内积的角度来看，这意味着两个向量越来越靠近。

也许你还会问，两个向量内积越来越大，除了角度变小的可能外，还有两个向量越来越大的可能？

下面我会证明其实在W参数学习的过程中其单位长度在不断变小：

其中我们已经知道和符号相异，那么

则在W自主学习的过程中，其模越来越小，而上述式（2）我们证明了越来越大，那么综合只有当向量和的角度越来越小时，式（2）才会成立，所以我们证明了自主学习，W会朝着越来越正确的方向变动（即使有时候这种变动我们察觉不出）。

PLA算法在多维度分类效果也比较好，收敛速度很快，这里博主用的是双维度样本，该样本在更新1400多次后输出了对应的结果，代码质量还有待改进。

下面是算法的实现（R语言）

#加载ggplot2包

library(ggplot2)

library(plyr)

#PLA数据，取R自带数据集iris，确保直线下方数据标签为-1

pladata <- data.frame(x1=iris[1:100,1],x2=iris[1:100,2],y=c(rep(1,50),rep(-1,50)))

ggplot(data=pladata,aes(x1,x2,col=factor(y)))+geom_point()     #样本数据展示

#PLA函数,x表示样本数据，y为对应类别，initial为w初始值，delta为相对误差率

PLA <- function(x,y,initial,delta){

w <- initial;n <- length(y);

x <- as.matrix(cbind(x0=rep(1,dim(x)[1L]),x))

error <- 1

while(error > delta){

if(all(sign(x %*% w)==y)){

error <- 0

}else{

xnt <- which(sign(x %*% w)!=y)

w <- w + x[xnt[1],] * rep(y[xnt[1]],dim(x)[2L])

xnt1 <- which(sign(x %*% w)!=y)

error <- length(xnt1)/n

}

}

names(w) <- paste("w",0:(dim(x)[2L]-1),sep="");print(w);

}

w <- PLA(x=pladata[,1:2],y=pladata[,3],initial=c(1,0,0),delta=0)

#分类结果展示：

names(w) <- NULL

ggplot(data=pladata,aes(x1,x2,col=factor(y)))+

geom_point()+

geom_abline(aes(intercept=(-w[1]/w[3]),slope=(-w[2]/w[3])))

其中未分类前的散点图如下：

通过自主学习训练后的结果如下：

C++代码实现

/*<span style="font-family:Times New Roman;">

Author: DreamerMonkey

Time : 5/3/2015

Title : PLA Algorithm

*/

#include<iostream>

#include<vector>

using namespace std;

//以二维空间为例，x1 x2为属性

struct Item{

int x0;

double x1,x2;

int label;

};

//权重结构体，w1 w2为属性x1 x2的权重，初始值全设为0

struct Weight{

double w0,w1,w2;//

}Wit0={0,0,0};

//符号函数，根据向量内积和的特点判断是否应该发放信用卡

int sign(double x){

if(x>0)

return 1;

else if(x<0)

return -1;

else return 0;

}

//两个向量的内积

double DotPro(Item item,Weight wight){

return item.x0*wight.w0+item.x1*wight.w1+item.x2*wight.w2;

}

//更新权重

Weight UpdateWeight(Item item,Weight weight){

Weight newWeight;

newWeight.w0=weight.w0+item.x0*item.label;

newWeight.w1=weight.w1+item.x1*item.label;

newWeight.w2=weight.w2+item.x2*item.label;

return newWeight;

}

int main(){

vector<Item> ivec;

Item temp;

cout<<"Please input Item.x1-Item.x2;"<<endl;

while(cin>>temp.x1>>temp.x2>>temp.label){

temp.x0=1;

ivec.push_back(temp);

}

Weight wit=Wit0;

for(vector<Item>::iterator iter=ivec.begin();iter!=ivec.end();++iter){

if((*iter).label!=sign(DotPro(*iter,wit))){

wit=UpdateWeight(*iter,wit);

iter=ivec.begin();//在从头开始判断，因为更新权重后可能会导致前面的点出故障，需要从头再判断

}

}

//打印结果

cout<<wit.w0<<" "<<wit.w1<<" "<<wit.w2<<" "<<endl;</span>

}

matlab代码实现

x_1=[120 185 215 275 310 337];

x_2=[110 125 185 250 130 137];

plot(x_1,x_2,'ob','linewidth',3,'markersize',15);

hold on;

x1=[55 98 115 110 95 122 70 205 225 ];

y1=[90 178 170 225 270 270 310 345 290 ];

plot(x1,y1,'xr','linewidth',3,'markersize',15)

hold on;

negpoints = [55,90,-1;310,130,1;98,178,-1;115,110,1;115,165,-1;185,125,1;110,225,-1;215,185,1;95,270,-1;275,260,1;122,270,-1;70,310,-1;337,137,1;205,345,-1;225,280,-1]

pospoints = [310,130,-1;115,110,-1;185,125,-1;215,185,-1;275,260,-1;337,137,-1]

weight = [0,300,100]

H_value = 0

sig=true

axis([50 350 50 350])

while sig

for i=1:1:15

sig=false

q = sign(negpoints(i,3))

h_x_i = sign(weight(1)+weight(2)*negpoints(i,1)+weight(3)*negpoints(i,2))

if h_x_i == q

if (i==15 && sig==false )

x =[50,100,200,250,350]

y = -(weight(2)/weight(3))*x -( weight(1)/weight(3))

plot(x,y,'b');

hold on;

else

continue

end

else

sig=true

ew1 = weight(2)

ew2 = weight(3)

weight(1)= (weight(1)+ q*1)

weight(2)= (weight(2)+ q*negpoints(i,1))

weight(3)= (weight(3)+ q*negpoints(i,2))

x =[50,100,200,250,350]

x1 =[50,100,200,250,350]

y1 = (weight(3)/weight(2))*(x1-200) +200

plot(x1,y1,'b');

hold on;

y = -(weight(2)/weight(3))*x -( weight(1)/weight(3))

plot(x,y,'r');

hold on;

end

end

end