学习机器学习也有段时间了，借《机器学习 实战》的第一篇中的例子来记录下自己的学习过程吧，《实战》中的第一讲即是利用k近邻分类器进行手写体的识别，原理很简单，由于手写体的数字已经被处理成用01表示的文本

，如图所示

在进行识别的时候，把要识别的文本转化成一个32*32的矩阵，为了方便计算，又将该矩阵转化为一个1024维的向量，然后将该向量与训练的样本相减求模，选择模最小的几个样本，又根据这个样本所代表数字最多的作为识别的结果，思路很简单，但计算量比较大，每识别一次就得利用每个样本进行大量的运算，这是书中所采用的方法，作为训练自己，我当然不会按步就班，于是，我就想，能否利用其他的监督学习方法呢？首先这是一个多分类的问题，一共有十个结果，既然是多分类，那么第一个我能想到的便是朴素贝叶斯的分类方法，朴素贝叶斯原理也很简单，它有一个很强的假设，对于这个手写识别的特定问题而言，就是每个位置上出现的1和0是独立事件，尽管不大合适，作为练习实验，也无不可，好，说干就干！

clear;

rate=1;

sour=dir('*.txt');%Get all *.txt

sourc=size(sour);

sourconut=sourc(1);

samto=cell(1,sourconut);

for k=1:sourconut

title=int8(sour(k).name(1))-int8('0');%获取txt文件的第一个字符，作为值

sample.title=title;

f = fopen(sour(k).name,'rt');

x = fread(f,'char');

fclose(f);

t=size(x);

buff=[];

for i=1:t(1)

if( int8(x(i))~=10 && int8(x(i))~= 32)

t1=size(buff);

t2=t1(1)+1;

buff(t2,1)=int8(int8(x(i))-int8('0'));

end

end

sample.content=buff;

samto{k}=sample;%此处samto为所有样本的元胞，格式为{title content}

end

%samto={{title content},..},content=图片按行取列

Qy=zeros(1,10); %Qy为样本中出现每个类型的概率，即样本为0的概率，1的概率...

Q=zeros(1024,10);

ty=zeros(1,10);

for i=0:9

t=0;

for k=1:sourconut

t1=samto(k);

if(t1{1}.title==i)

t=t+1;

end

end

ty(i+1)=t;

Qy(i+1)=t/sourconut*rate;

end %Qy计算完

disp('begin to calculate Q');

for y=0:9

disp(strcat('y=',int2str(y)));

for k=1:1024

t2=0;

for i=1:sourconut

t1=samto{i}.title;

if(samto{i}.content(k)==1 &&t1==y)

t2=t2+1;

end

end

Q(k,y+1)=(t2+1)/(ty(y+1)+10)*rate;

%disp(strcat('Q=',int2str(t2)));

end

end

disp('done!');

靠，代码居然没有Matlab，那就将就用Python的吧，应该也行吧，呵呵，Matlab刚学不久，表示代码写得有点不伦不类.....代码中的*.txt是用的《实战》中的训练样本，每个训练样本被都为一个txt文件，如数字1的7号书写体文件名为1_7.txt，数字2的28号书写体文件名2_28.txt，样本中一共有近2000个样本，上面的代码，即可获得Q及Qy两个值,Qy表示样本中出现数字n的概率，Q为数字n中每个位置为1的概率，还是截个图吧。。。

Qy:

Q(太长了就部分截图吧):

稍微解释一下数据的含义，比如Qy中的0.0977就表示样本中数字0所占得比例，即0出现的概率，可以发现Qy中每种样本的概率接近1，这是因为各种样本数量相当，而Q是一个1024*10的矩阵，就那1行1列的数来说吧，表示数字0的手写体中的1行1列为1的概率为0.0050，噢，对了，由于进行了拉格朗日平滑，所以没有为0的概率，其实这个0.0050算是最小的了， 这些相信只要懂得朴素贝叶斯的原理，应该很好理解吧...呵呵....

最后，测试下识别率！clear;

Qroot=load('Q');

Qroot=Qroot.Q;

Qyroot=load('Qy');

Qyroot=Qyroot.Qy;

sour=dir('*.txt');

sourc=size(sour);

sourcount=sourc(1);

samto=cell(1,sourcount);

for k=1:sourcount

title=int8(sour(k).name(1))-int8('0');

sample.title=title;

sample.name=sour(k).name;

f = fopen(sour(k).name,'rt');

x = fread(f,'char');

fclose(f);

t=size(x);

buff=[];

for i=1:t(1)

if( int8(x(i))~=10 && int8(x(i))~= 32)

t1=size(buff);

t2=t1(1)+1;

buff(t2,1)=int8(int8(x(i))-int8('0'));

end

end

sample.content=buff;

samto{k}=sample;

end

r=0;

for j=1:sourcount

test=samto{j}.content;

testTitle=samto{j}.title;

name=samto{j}.name;

p=ones(1,10);

for i=0:9

for k=1:1024

if(test(k)==1)

p(i+1)=p(i+1)*Qroot(k,i+1);

else

p(i+1)=p(i+1)*(1-Qroot(k,i+1));

end

end

p(i+1)=p(i+1)*Qyroot(i+1);

end

guess=find(p==max(p))-1;

if guess==testTitle

r=r+1;

else

disp(strcat('guess:',int2str(guess)));

disp(strcat('title:',int2str(testTitle)));

disp(strcat('name:',name));

disp(p);

end

end

disp(r/sourcount);

正确率为0.9302，还算行吧，呵呵，噢，对了，代码不但输出了正确率，也输出了识别错误的那些样本，帮助自己分析错误原因，如果大家要实验的话，建议大家先把《实战》的样本包下载下来，再实验，至于网址吧，百度一下就行了，哈哈！