资源下载地址：https://download.csdn.net/download/sheziqiong/85656972
资源下载地址：https://download.csdn.net/download/sheziqiong/85656972

监督学习在Aliens游戏中的探究尝试

一、基于现有特征提取方法的实验

1.1 现有特征提取的理解

Recorder.java提供了特征提取的入口。其中invoke为记录函数，它调用featureExtract函数来生成当前状态的观测，并在末尾追加当前做出的动作，以此形成一条完整记录，用filewriter写入文件。FeatureExtract函数是特征提取的重点，目前我们提取的特征有：32*14=448个格子中的物体，4个游戏相关属性，1个动作，总共453个值。其中448个格子记录物体的编号，是一个int类型，4个游戏相关属性直接调用obsversation的4个get个方法得到（需要注意的是源代码里给448赋值了4次，实际上只存了AvatarType，其他的都被取代了）。

在invoke函数中对于4个动作的整数化表示如下：

1.2 不同模型的介绍与训练结果分析

为了充分比较不同监督学习模型的游戏性能，这里直接选择了最高难度的游戏，并且控制变量，使用相同的训练数据与训练轮数，只改变训练模型。

1.2.1 朴素贝叶斯

简介：

朴素贝叶斯算法是一种基于概率的分类方法，它的主要依据是如下图的条件概率公式，即假定给定目标值时属性之间相互条件独立，在X=Xi的情况下将输入样本分类到某一类的概率可以由这一类出现的概率乘此类中输入为Xi出现的条件概率再除以X=Xi的概率得出。以此种方法计算不同分类的概率，并返回最大值所指向的分类，就完成了朴素贝叶斯分类。需要注意的是，P(X=Xi)可以通过全概率公式得出，也可以直接统计计算。

朴素贝叶斯分类器(Naive Bayes Classifier 或 NBC)发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。理论上，NBC模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为NBC模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，这给NBC模型的正确分类带来了一定影响。[4]

朴素贝叶斯算法的优点是，对小规模的数据表现很好，适合多分类任务，适合增量式训练。同时它的缺点在于，对输入数据的表达形式很敏感（离散、连续，值极大极小之类的）。[3]

训练结果：

训练数据显示总的分类准确率为40%左右，相对较低。

分析详细准确性数据，可以发现NIL的精确率很高，但是召回率非常低，可以预见agent将比人类进行更少的停滞动作。USE两项均很低，可以想见agent将不太倾向于发射子弹，且正确发射的概率也相应较低。而left和right两项虽然虽然精确率不高但是召回率较高，因而agent将进行比人类更多的左右移动动作。

再看混淆矩阵，各项被分到正确类的概率还是最高的，同时错误分类到其他3项的概率大致相当且较高。因而agent的行为没有特别明显的偏好特征，但总的来说错误的比例是较高的，预计结果不会特别好。

游戏结果来看，在test的一开始，表现十分正常，命中率较高，很快就把外星人的数量减少到减少到5个以下，但在仅剩一个外星人的时候开始一动不动，最终失败。

小结：

个人认为，在我们的特征数据提取所提供的X向量其维数相当大，而相对来说总的记录数量相对较小，这导致了统计X=Xi的概率始终处在一个非常小的值附近，而难以产生有价值的判断依据，甚至常常需要进行拉普拉斯平滑。因而朴素贝叶斯算法在这里不太容易产生良好的测试效果。

二、特征提取方法的改进

2.1 总的思路

旧版的特征提取中直接使用了448个方格内的物体属性作为特征来进行学习。这样做虽然最大化了特征的完整性，但是过于具体，缺乏抽象性，可能不具备良好的学习性质。同时游戏状态是不会重复的，因而收集到的特征参数也不尽相同，这样的朴素知识获取方法，近一步降低了训练模型的抽象性与泛化能力，非常容易出现过拟合情况。

因而我们特征提取方法的改进就是，通过人为方法提取一些更加“抽象”同时自认为“有用”的特征，让机器根据这些我们人类组织出来的经验进行学习，以期望获得更好的学习成果。

2.2 特征改进

首先解决开头的疑惑，将4个属性分别写入4个不同的位置。进行几次train后，通过直接阅读artf文件，发现除了gametick会变之外，其他三个始终是一个定值，对他们每次分别记录是毫无意义的！

所以我们为了增加空间利用率，直接移除原449，450，451属性值，并在原位存放后续的三个我们自定义的特征。

经过测试 itype: 0-empty 2-wall 5-bomb 6-alien，同时惊讶的发现，原来竟然完全没有记录Avatar的位置，真是荒唐啊荒唐。

首先，联想到自己玩塔防游戏的经验，防御塔可以设置属性“第一个”“最强的”“最近的”“最后一个”等等攻击优先度，我们的Avatar也可以发射子弹所以应当有类似的想法—攻击优先级。因为我们知道当第一个外星人下到最后一行的时候我们就已经输了，所以优先解决第一个外星人是理所应当的，于是有了第一个特征：第一个外星人与Avatar的相对位置（左负右正）。修改双重循环的顺序，使其从后向前检索，在遍历的同时直接就把最后一个alien的位置给找出来，不浪费时间。

其次，我们的Avatar不可以碰到炸弹，而“碰到”的含义在于Avatar先离炸弹很近，接着或是主动接近，或是被动接近，导致炸弹离我们越来越近，最后碰到一起，然后你就gg了。而这中间，尤以本来就最靠近Avatar的炸弹最为凶险，所以我们专门记录它和Avatar之间的距离，因而有了第二个特征值：最近炸弹与Avatar的相对位置（左负右正）。

第三，我在train的时候发现，由于Avatar的射击有攻击间隔，因而一旦在某一位置停下来射击，只要空了一发，往往后面的连续射击也“恰好”都会空枪。这时候就需要我们进行移动，或者稍作停顿后再次射击。这给了我们一个启发，即Avatar的行动前后是有关联的，并不是简单地单纯依据游戏状态（有点类似于时序逻辑电路的感觉），所以很自然地想到，可以把先前的动作作为下一次动作的判别依据，于是有了第三个特征：上一个动作的值。

2.3 性能评估

Nave-bayse：

一开始直接走到最右边开始站桩输出，但是在一段时间之后，忽然开始返回屏幕中间位置，并不断走A，行动模式与人类玩家非常相似。不过遗憾的是在外星人数量又一次降到较低值时，不再能准确击中外星人，最终被碰撞而亡。

Logistic:

起初的表现十分良好，可以正确移动与发射子弹，同时移动速度非常迅速异于人类，可以看到明显的规避炸弹动作。但是在仅剩一个外星人的时候，不会发射子弹，而是频繁的左右平移，最终失败。

Random-forest:

起初不断走A，在外形人数量少于5个时忽然开始站撸，在外星人循环两行之后获胜。

Simple-Cast:

始终在屏幕最左侧站桩输出，但是射击精准，直接获胜。

总体来看，4中算法在改进特征提取后均获得了不同程度的提升。尤其是其模仿人类的能力大大增强了。仍然存在较多问题，可能的原因是数据收集过少（只有一轮游戏），以及特征提取太杂且不够优化。