关键问题是：假如模型效果不好，应该如何改善？答案可能有以下几种。用更复杂 / 更灵活的模型。

用更简单 / 更确定的模型。

采集更多的训练样本。

为每个样本采集更多的特征。

问题的答案往往与直觉相悖。换一种更复杂的模型有时可能产生更差的结果，增加更多的训练样本也未必能改善性能！改善模型能力的高低，是区分机器学习实践者成功与否的标志。

01/偏差与方差的均衡

“最优模型”的问题基本可以看成是找出偏差与方差平衡点的问题。

下图显示的是对同一数据集拟合的两种回归模型。

显然，这两个模型拟合得都不是很好，但它们的问题却是不一样的。

左边的模型希望从数据中找到一条直线。但由于数据本质上比直线要复杂，直线永远不可能很好地描述这份数据。这样的模型被认为是对数据欠拟合；也就是说，模型没有足够的灵活性来适应数据的所有特征。另一种说法就是模型具有高偏差。

右边的模型希望用高阶多项式拟合数据。虽然这个模型有足够的灵活性可以近乎完美地适应数据的所有特征，但与其说它是十分准确地描述了训练数据，不如说它是过多地学习了数据的噪音，而不是数据的本质属性。这样的模型被认为是对数据过拟合，也就是模型过于灵活，在适应数据所有特征的同时，也适应了随机误差。另一种说法就是模型具有高方差。

现在再换个角度，如果用两个模型分别预测 y 轴的数据，看看是什么效果。在下图中，浅红色的点是被预测数据集遗漏的点。

这个分数是 R 2，也称为判定系数

(https://en.wikipedia.org/wiki/Coefficient_of_determination)，用来衡量模型与目标值均值的对比结果。R 2 = 1 表示模型与数据完全吻合，R 2 = 0 表示模型不比简单取均值好，R 2 为负表示模型性能很

差。从这两个模型的得分可以得出两条一般性的结论。

对于高偏差模型，模型在验证集的表现与在训练集的表现类似。

对于高方差模型，模型在验证集的表现远远不如在训练集的表现。

如果我们有能力不断调整模型的复杂度，那么我们可能希望训练得分和验证得分如下图所示。

下图通常被称为验证曲线，具有以下特征。训练得分肯定高于验证得分。一般情况下，模型拟合自己接触过的数据，比拟合没接触过的数据效果要好。

使用复杂度较低的模型(高偏差)时，训练数据往往欠拟合，说明模型对训练数据和新数据都缺乏预测能力。

而使用复杂度较高的模型(高方差)时，训练数据往往过拟合，说明模型对训练数据预测能力很强，但是对新数据的预测能力很差。

当使用复杂度适中的模型时，验证曲线得分最高。说明在该模型复杂度条件下，偏差与方差达到均衡状态。

02/Scikit-Learn验证曲线

下面来看一个例子，用交叉检验计算一个模型的验证曲线。这里用多项式回归模型，它是线性回归模型的一般形式，其多项式的次数是一个可调参数。例如，多项式次数为 1 其实就是将数据拟合成一条直线。若模型有参数 a 和 b，则模型为：

多项式次数为 3，则是将数据拟合成一条三次曲线。若模型有参数a、b、c、d，则模型为：

推而广之，就可以得到任意次数的多项式。在 Scikit-Learn 中，可以用一个带多项式预处理器的简单线性回归模型实现。我们将用一个管道命令来组合这两种操作：from sklearn.preprocessing import PolynomialFeatures

from sklearn.linear_model import LinearRegression

from sklearn.pipeline import make_pipeline

def PolynomialRegression(degree=2, **kwargs):

return make_pipeline(PolynomialFeatures(degree),

LinearRegression(**kwargs))

现在来创造一些数据给模型拟合：import numpy as np

def make_data(N, err=1.0, rseed=1):

rng = np.random.RandomState(rseed)

X = rng.rand(N, 1) ** 2

y = 10 - 1. / (X.ravel() + 0.1)

if err > 0:

y += err * rng.randn(N)

return X, y

X, y = make_data(40)

通过数据可视化，将不同次数的多项式拟合曲线画出来%matplotlib inline

import matplotlib.pyplot as plt

import seaborn; seaborn.set()

X_test = np.linspace(-0.1, 1.1, 500)[:, None]

plt.scatter(X.ravel(), y, color='black')

axis = plt.axis()

for degree in [1, 3, 5]:

y_test = PolynomialRegression(degree).fit(X, y).predict(X_test)

plt.plot(X_test.ravel(), y_test, label='degree={0}'.format(degree))

plt.xlim(-0.1, 1.0)

plt.ylim(-2, 12)

plt.legend(loc='best');

例子中控制模型复杂度的关键是多项式的次数，它只要是非负整数就可以。那么问题来了：究竟多项式的次数是多少，才能在偏差(欠拟合)与方差(过拟合)间达到平衡？

我们可以通过可视化验证曲线来回答这个问题——利用 Scikit-Learn 的validation_curve 函数就可以非常简单地实现。只要提供模型、数据、参数名称和验证范围信息，函数就会自动计算验证范围内的训练得分和验证得分。from sklearn.model_selection import validation_curve

degree = np.arange(0,21)

train_score, val_score = validation_curve(PolynomialRegression(),#模型

X, y,#数据

'polynomialfeatures__degree',

degree,#验证范围

cv=7)#验证次数

plt.plot(degree, np.median(train_score,1), color='blue', label='training score')

plt.plot(degree, np.median(val_score,1), color='red', label='validation score')

plt.legend(loc='best')

plt.ylim(0,1)

plt.xlabel('degree')

plt.ylabel('score');

这幅图可以准确显示我们想要的信息：训练得分总是比验证得分高；训练得分随着模型复杂度的提升而单调递增；验证得分增长到最高点后由于过拟合而开始骤降。

从验证曲线中可以看出，偏差与方差均衡性最好的是三次多项式。我们可以计算结果，并将模型画在原始数据上。plt.scatter(X.ravel(), y)

lim = plt.axis()

y_test = PolynomialRegression(3).fit(X, y).predict(X_test)

plt.plot(X_test.ravel(), y_test);

plt.axis(lim);

虽然寻找最优模型并不需要我们计算训练得分，但是检查训练得分与验证得分之间的关系可以让我们对模型的性能有更加直观的认识。