• 基本原理

贝叶斯定理： 全概率公式：p(x) = p(x/y1)p(y1)+p(x/y2)p(y2)+...p(x/yk)p(yk),其中（y1,y2,...yk）组成一个完备事件且之间相互独立。

• 前提条件

各个特征之间相互独立，其中各个特征又分别为离散的类别。

• 直接上步骤：

1. 计算训练X各个特征xi中某个类别xij在每一类yk下的条件概率:p(xij/yk)，所有计算结果存为三维矩阵Pxy(j,i,k)
2. 计算各类yk的先验概率 :p(yk)，即该类在总体样品中所占的比例
3. 再根据步骤1和2的计算结果，计算新x的全概率：p(x) = p(x/y1)*p(y1)+p(x/y2)*p(y2)+...p(x/yk)*p(yk),其中，p(x/yk) = Pxy(~,1,k)Pxy(~,2,k)...*Pxy(~,m,k),是yk下样品出现的概率，~代表该特征下的该类特征，m为特征维度。
4. 依据贝叶斯公式计算出P(yk/x)，排序选择最大的类别。

• matlab测试代码：

%朴素贝叶斯 --- 分类算法
%假设x特征之间相互独立%输入： x[n*m]=[特征1，特征2，...特征m]，其中特征1、2...m的值又分别为ij类(即离散数值)
%       y[n*1]=[类1；类2；...类k]
%如：x=[1,'高'      y=[‘是’
%       0,'低'         ‘否’
%       1,'中'         ‘是’
%       0,'高']        ‘否’]%输出：p(xi)
clc;clear;close all;x=[1,1,0,1,0,0,1,1,0,00,1,1,0,0,1,1,1,0,10,1,1,2,0,1,1,0,2,2];
y=[1,0,0,1,0,0,0,1,0,1];x=x';
y=y';[n,m]=size(x);%确定x特征维数m，
for i=1:m C(i)=length(unique(x(:,i)));%确定x每个特征的类数Ci；
end
uny=unique(y);
C(m+1)=length(uny);%确定y的类数；%-----------------------------计算先验概率，条件概率------------------
for i=1:C(m+1)  %y的类别数num=find(y==uny(i));sumy(i)=sum(y==uny(i));py(i)=sumy(i)/n;%先验概率P（Y=yi）xi=x(num,:);%y==yi下的x矩阵；for j=1:m   %x特征变量个数unx{j}=unique(x(:,j));for k=1:C(j)  %x每个特征下的类别数pxy(k,j,i)=sum(xi(:,j)==unx{j}(k))/sumy(i);%条件概率矩阵，每一列为yi条件下xi特征的各类别的条件概率endend
end%--------------------------------求后验概率---------------------------
% unx uny pxy py  Cxx=[0;0;0];sum=0;
for i=1:C(m+1)mul=1;for j=1:mj_n=unx{j}==xx(j);mul=mul*pxy(j_n,j,i);endpxx(i)=mul;    sum=sum+py(i)*pxx(i);
end
p_b=sum;%分母，全概率for i=1:C(m+1)mul=1;for j=1:mj_n=find(unx{j}==xx(j));mul=mul*pxy(j_n,j,i);endpxx(i)=mul;p_a=py(i)*pxx(i);%分子，联合概率pyx(i)=p_a/p_b;
endy_pre=max(pyx);%预测的最大概率
y_num=uny(unique(find(pyx==y_pre)));%预测最大概率的所属类别disp('预测为：类别   概率')
disp([y_num,y_pre])

• 附图