漫谈机器学习

完成第一幅初稿	完成终稿
1945年12月5日	1946年1月17日

前言

上面的画就是20世纪最著名的抽象派画家毕加索于1946年1月17日完稿的画作——公牛，寥寥几笔，勾勒出公牛的“特征”。很多人可能会觉得也许小学生也会画出上面的画嘛，但大师和小学生的区别就在于，大师得出这个终稿的过程是对一个哲学命题的探究——到底什么是“公牛”？到底缺了什么“特征”就不再是“公牛”？而小学生如果可以画出类似的画作，那是他对世界认识的本能。也许结果是一样的，但他们背后逻辑的深度是不同的。

泛化能力

这幅画留下的公牛最重要的特征有这么几个：

长长的犄角
长长的尾巴
宽大的身躯
粗短有力的后腿
不可或缺的小丁丁

就拿最不起眼的尾巴来说吧，把它剪短，会怎么样？

还是公牛吗？还有当初的霸气吗？我总觉得它像一只体型肥胖的公羊。所以你不得不佩服毕加索这位算法工程师的功力，他不仅用“主成分分析”找到了最关键的维度，还精确计算出了特征的数值。

如果还觉得还不够有说服力的话，我们再做一个试验，把公牛的犄角截断一点点。

截断犄角的“公牛”还是公牛吗？也许它是，但却没有当初那般斩钉截铁了。因为少了几分攻击性，也许还是牛，却多了点鹿和羊的规规矩矩的温顺感。

当然，肯定还有同学对“小丁丁”这个特征感兴趣，我觉得这个试验就不用做了，你说把一个公牛净身之后，它还是不是公牛了…

所以，毕加索做对了两个事情让公牛成为了公牛
一是找对了特征维度，二是找对了特征值

过拟合

这是毕加索的于1945年12月5日创作的公牛初稿。它是“公牛”吗？它是！
它有什么特征使之成为一头公牛？too many。。

毕加索的训练“公牛”这个模型的目的是什么？他要探索的是一个哲学问题，到底什么使公牛成为一头公牛。这幅初稿是他的答案吗？也许是，但离真相差的太远。因为它太过具体，具体到我们不知道是不是因为皮肤的纹理造就了一头公牛，还是跟马没什么区别的眼睛造就了一头公牛。

如果训练到这步就贸然上线，会有一个致命的问题：
样本中任何特征的特征值的改变，都可能会导致这个样本不是公牛的结论。

比如你说这幅画是公牛，难道去掉那些身上的纹理就不是公牛了吗？显然不是。而这个复杂模型必然会导致大量样本的误判，准确率高，召回率低，这就是模型“泛化”能力严重不足的问题。

显然，毕加索是深知这一点的，正因为要提升模型的“泛化”能力，才有之后的十几次调参甚至改变模型结构的过程。

欠拟合

最重要的几个特征缺一不可：

长长的犄角
长长的尾巴
宽大的身躯
粗短有力的后腿
不可或缺的小丁丁

意识到“泛化能力”差这个问题之后，毕加索经过十几次的连续创作，才最终得到了我们上面看到的抽象主义作品——公牛。也许这不是全局最优解，但绝对是非常接近真相的局部最优解之一。

模型能力

在构建模型的时候，我们总说线性模型的表达能力是弱的，需要更强大的特征提取能力保留更多信息，为什么？毕加索给了我们答案，在公牛的终稿中，他保留了五个特征：

长长的犄角
长长的尾巴
宽大的身躯
粗短有力的后腿
不可或缺的小丁丁

你能说满足其中四个条件的样本就是“公牛”吗？通过之前对于终稿的修改，我们已经非常明确的知道答案是否定的。只有满足这五个特征组成的“组合特征”，这才能是一头公牛。

因此，我们不能割裂的看这五个特征。

调参技巧

无数人说过机器学习的调参过程是一个炼金的过程，机器学习模型特别是深度学习模型的调参过程真的是碰运气吗？是也不是，我们的确无法预测深度学习的结果，但我们可以通过调参的经验和直觉加快寻找到正确参数的速度。在这一点上，毕加索无疑也是优秀的。他做对了两件事情快速完成了模型训练：

必要时候改变模型结构
在一条路上要做到极致

在我看来，毕加索在寻找真相的过程中最重要的一次转变是第三幅到第四幅的转变。

他做了什么？
他加入了线条！

他发现线条相比色块更能抓住问题的核心，拥有更强的表达能力和泛化能力，正是他用“线条”这个“模型”替换了“色块”这个“模型”，让他拥有了进一步接近真相的可能。

加入线条之后，他经历了8次演进，他几乎摒弃了所有细节，做了各种尝试，才最终找到那最后一幅的真相。

从1945年12月5日完成第一幅初稿，到1946年1月17日完成终稿，毕加索花了一个半月的时间完成了“模型训练”，从中你学到了什么？