1 引言

　　算法工程师需要掌握的基础理论包括bias-variance tradeoff，VC Dimension，信息论，正则化，最优化理论；其中从面试的角度来看，bias-variance tradeoff和正则化是重点考察的内容。本文主要总结和学习bias-variance tradeoff和VC Dimension。

2 bias-variance tradeoff

　　所谓bias-variance tradeoff，是指偏差和方差权衡，它是解释机器学习模型的重要工具。

2.1 基本概念

　　偏差度量了学习算法的期望预测和真实结果的偏离程度，刻画了学习算法本身的拟合能力；
　　方差度量了同样大小的训练集的变动所导致的学习性能的变化，刻画了数据扰动所造成的影响；
　　噪声表达了当前任务上任何学习算法所达到的期望泛化误差的下界；

2.2 图形化定义

　　从图中可以看出：

• 对于某一真实值（红靶心），模型基于相同大小的训练集可以预测出多种结果，可以看出该模型的偏差和方差；
• 一般而言，偏差大往往指的是欠拟合，方差大指的是过拟合；

2.3 面试常考点

• 基于偏差和方差分析RF和GBDT的区别

　　随机森林（RF）作为一种集成学习方法，它是基于bagging的思想，能够降低方差提高模型的性能；
　　GBDT作为另一种集成学习方法，它是基于boosting的思想，能够降低偏差来提高模型的性能；
　　关于这两种方法在降低偏差和方差的证明，见为什么说bagging是减少variance，而boosting是减少bias?

• 基于偏差和方差分析K折交叉验证的K值

　　当K值大的时候，我们会有更少的偏差，更多的方差；原因：K值越大，数据的分布与原数据集分布类似，因此方差大；
　　当K值小的时候，我们会有更多的偏差，更少的方差；原因：K值越小，数据的分布与原数据集分布相差太大，因此偏差大；

2.4 参考博客

　　Bias-Variance Tradeoff（权衡偏差与方差）

3 VC Dimension

　　VC Dimension是统计学习理论用来衡量函数集性能的一种指标，VC维越大，则学习过程越复杂；但是目前并没有通用的理论来计算函数集的VC维，只知道一些特殊函数集的VC维，例如P维线性函数的VC维为P+1。

3.1 基本概念

　　对于一个指示函数集，如果存在h个数据样本能够被函数集中的函数按所有可能的2^h种形式分开，则称函数集能够把h个数据样本打散。则函数集的VC维就是能打散的最大数据样本数目h。

• 举个例子，对于二维线性指示函数，无论3个数据样本怎么安排，二维线性指示函数都能给你安排的明明白白的（打散），但是对于4个样本，那就没法安排了，见下图；因此二维线性指示函数的VC维为3；

• 对于能够把任意数目的数据样本安排好的函数集（打散），该函数集的VC维为无穷大；
• 一般而言，函数集弯曲程度越大，函数集的VC维越大，模型越复杂；

3.2 面试常考点

　　关于VC维的面试考点，我还没有遇到过，但是我觉得重点是要理解VC维的意义，它可以衡量模型的复杂度和灵活度，VC维越高的模型，模型越复杂，学习过程也越复杂。
　　后续如果遇到VC维的考点，继续补充；

3.3 参考资料

　　统计学习中的VC维是什么意思？

4 信息论

　　在机器学习领域，信息论的相关知识十分重要，例如在决策树里面就出现了信息增益和信息增益率的概念。下面对信息论的一些概念做一个系统的总结。

4.1 信息熵

　　熵是每条消息中包含信息的平均量，它是不确定性的度量，越随机的信号源其熵越大；

4.2 联合熵

　　度量二维随机变量的不确定性；

4.3 条件熵

　　已知其中一个变量，求另一个变量的平均不确定性；

4.4 相对熵

　　KL散度，又称为信息散度和信息增益，它主要是用来衡量两个分布的相似度；

4.5 互信息

　　相对熵是衡量同一变量的两个一维分布之间的相似性，而互信息是用来衡量两个相同的一维分布变量的独立性；