4.40 什么是类人概念学习？

事实上，在深度学习火热之前，人工神经网络也曾热闹了一番。在 20 世纪 80 年代末期，用于人工神经网络的反向传播算法（也称Back Propagation算法，或者 BP 算法）的发明，也曾掀起了基于统计模型的机器学习热潮。当初人们希望利用 BP 算法可以让一个人工神经网络模型从大量训练样本中学习统计规律，从而对未知事件进行预测。但是实际上 BP 算法距离这个目标还非常遥远，90 年代中后期 BP 热潮就逐渐褪去。但是不管怎样，BP 带来了很多新的思路，并且证明了基于统计的机器学习方法比基于人工规则的系统，确实在很多方面都要先进。Geoffrey Hinton 先生就是在这股冷嘲中继续坚持，最终打开了深度学习的大门。

深度学习真的就像热捧的那样无所不能吗？实际上，并非如此，每次科学进步都会带有两面性，也同时存在着天生的缺陷，因此科学研究总会有很多思想分支，形成诸多学派，而每个学派都会针对某种场景或者问题再次深入分析。这就说明，机器学习也绝非深度学习这个分支领域能够达到人工智能所要求的。特别是在国内一窝蜂热炒深度学习或者 AlphaGO的时候，美国科学界仍然相当冷静。其实，其他学派的进展显然也是非常显著，12 月份《Science》的封面文章就是 Brenden M. Lake 等人撰写的《Human-level concept learning through probabilistic programinduction》。国内通常翻译称为《通过概率规划归纳的人类层次概念学习》，而笔者认为采用“类人概念学习”这个词语显得更加贴切。这篇文章与谷歌在《Nature》发表的封面文章遥相呼应，共同为人工智能的探索提供了思路，但很可惜的是，国内几乎把这篇文章忽略了。

什么是“类人概念学习”？回答这个概念之前，我们先回顾一下深度学习，深度学习基于大数据通过多层网络实现对“抽象概念”的理解，显然数据越多其效果相对就会越好，但是若没有大数据怎么办？何况人类的知识也是一点点积累的，对于人类来说，即便没有积累，没有相应的专业知识，实际上我们也能“照猫画虎”。从这点上来看，以深度学习为核心的人工智能就远远不及人类，因为人类面对陌生环境依然能够通过学习做出适应变化。因此“类人概念学习”首先就要解决深度学习的这种弊端，即不依赖大数据也能进行自我学习，笔者通常定义为“小样本学习”。

“小样本学习”的概念依然是太广了，而且也不是什么太新的概念，这个研究思路比神经网络的出现还要早很多年。笔者所提到的“小样本学习”，核心就是贝叶斯规划学习（Bayesian Program Learning，BPL），为了与深度学习（DeepLearning, DL）相区分，一般称为BPL方法。BPL方法是利用参数的先验分布，由小样本信息求来的后验分布，直接求出总体分布。这种方法使用概率去表示所有形式的不确定性，通过概率规则来实现学习和推理过程。

我们再来回顾一下Brenden M. Lake等人的论文，其中一张图概括了 BPL 方法的流程：图中 parts 部分学到的是提笔 - 落笔的这一段笔画过程，sub-parts 学到的是由于暂停分割开的更小的笔画，这两者结合就生成字符的模板 object template，同时模板还分为attached along 和 attached at start 两种。论文中用来训练的数据除了完整的字符以外，只有具体笔画的样本，总体可提供的数据样本非常少。

BPL方法的目的就是为了解决“看一眼就会写字”的问题，这完完全全只能基于小样本，只需要一个陌生文字系统的字符，BPL 方法就能很快学到精髓把这个文字写出来，甚至还能写出其他类似的文字。而且更为重要的是，这篇论文展现的 BPL 方法还通过了视觉图灵测试。这也得益于 BPL 方法观察到的每个训练样例可以增量地降低或升高某假设的估计概率，而其他算法会在某个假设与任一样例不一致时完全去掉该假设。但是 BPL 方法需要概率的初始知识，当概率预先未知时，可以基于背景知识、预先准备好的数据以及基准分布的假定来估计这些概率。