用身高和或体重数据进行性别分类的实验(一).doc

用身高和/或体重数据进行性别分类的实验(一)

学号： 班级： 组员：

2009302323 9391 彭群聂

2009302309 9391 吕 鑫

2009302351 9392 袁 暾

实验目的

用FAMALE.TXT和MALE.TXT的数据作为训练样本集，建立Bayes分类器，用测试样本数据对该分类器进行测试。调整特征、分类器等方面的一些因素，考察它们对分类器性能的影响，从而加深对所学内容的理解和感性认识。

基本要求

1)应用两个特征进行实验：同时采用身高和体重数据作为特征，分别假设二者相关或不相关，在正态分布假设下估计概率密度，建立最小错误率Bayes分类器，写出得到的决策规则，将该分类器应用到训练/测试样本，考察训练/测试错误情况。比较相关假设和不相关假设下结果的差异。在分类器设计时可以考察采用不同先验概率(如0.5 vs. 0.5, 0.75 vs. 0.25, 0.9 vs. 0.1等)进行实验，考察对决策和错误率的影响。

2)自行给出一个决策表，采用最小风险的Bayes决策重复上面的某个或全部实验。

实验原理及前期准备

简述实验原理：对于给定类别和样本数的模式分类问题，为了尽量减少分类中出现的错误，则可以采用概率论中的贝叶斯公式，从而得出错误率最小的分类规则，而在这个分类过程中难免会有错误出现，因此需要考虑，分类错误所带来的损失，由此就需要对已得到的分类结果进行风险计算，从而得出最小风险时的决策规则。

实验中所需要用到的知识 ：

1、bayes公式 ；

基于最小错误率的Bayes决策规则： 若>，则x ；反之则x ；

2、先验概率：从以往的数据分析中得到的经验值；即根据大量统计确定某类事物出现的比例。

3、类条件概率密度函数：同一类事物的各个属性都有一定的变化范围，在这些变化范围内的分布概率用一种函数形式表示，则称为类条件概率密度函数。

4、后验概率：得到信息之后，对以往数据加以修正的概率(一般也是条件概率)；或一个具体事物属于某种类别的概率。

5、基于最小风险的Bayes决策：若条件风险则x；反之则x ；以及关于正态分布和参数估计的相关知识。

实验程序框图

导入训练样本数据

导入训练样本数据

提取特征，训练male,female

设计分类器

建立决策函数

求取协方差矩阵

导入测试样本

代入决策函数，求出判决结果

求出相应决策的风险

比较风险大小

得出最终决策结果

实验结果

训练，测试样本如下(具体数据见附件)

类

样本

W1(男生)

W2(女生)

身高(cm)

175

170

…

180

165

162

…

158

体重(kg)

65

70

…

75

50

55

…

53

(Matlab计算程序见附件)

贝叶斯估计

1、先验概率相等(0.5vs0.5)：

(1)协方差矩阵不相等时：(C1，C2表示协方差矩阵)

决策函数：=x'**x+'*x+; =x'**x+'*x+;

=-0.5*inv(C1); =inv(C1)*x1;

=-0.5*x1'*inv(C1)*x1-0.5*ln(det(C1))+ln(P(w1));

=-0.5*inv(C2); =inv(C2)*x2;

=-0.5*x2'*inv(C2)*x2-0.5*ln(det(C2))+ln(P(w2));

x 表示对应的特征向量；

1)首先对模型本身进行测试：

可得训练样本集合1与2的分类错误率分别为errorx1=0.0800，

errorx2=0.1200。

2)带入测试样本test1与test2后得，分类的错误率则为errort1=0.0286，

error2=0.1067.

(2)协方差矩阵相等时：(C=C1+C2;)

判决函数：='*x+; ='*x+;

=inv(C)*x1; =inv(C)*x2;

=-0.5*x1'*inv(C)*x1+ln(P(w1));

=-0.5*x2'*inv(C)*x2+ln(P(w2));

1)首先对模型本身进行测试

可得训练样本集合1与2的分类错误率分别为errorx1=0.0800，

errorx2=0.1600，与1)中相比结果差距较大，可见协方差矩阵是否相

等对分类正确率也是有一定影响的

2)带入测试样本集合test1与test2计算，errort1=0.0286，errort2=0.0967。