核岭回归(KRR)和高斯回归(GPR)都通过在内部采用“内核技巧”来学习目标函数。KRR学习使用相应核函数(该核函数对应于原始空间中的非线性函数)将目标函数映射到内核空间中的线性函数，然后基于具有岭正则化的均方误差损失来选择内核空间中的线性函数。GPR使用内核定义目标函数的先验分布的协方差，并使用观察到的训练数据来定义似然函数，基于贝叶斯定理，定义了目标函数的(高斯)后验分布，其均值用于预测。两者主要区别在于，GPR可以基于边际似然函数的梯度上升来选择核函数的超参数，而KRR需要对交叉验证的损失函数(均方误差损失)执行网格搜索。另一个不同之处是，GPR学习了目标函数的生成概率模型，因此可以提供有意义的置信区间和后验样本以及预测结果，而KRR仅提供预测结果。本示例使用了人工数据集，该数据集由正弦目标函数和强噪声组成。下图比较了基于ExpSineSquared内核的KRR和GPR的学习模型，该模型适合于学习周期性函数。核函数的超参数控制核函数的平滑度(l)和周期性(p)，而且GPR通过核函数中的其他WhiteKernel组件和KRR的正则化参数alpha来显式地学习数据的噪声水平。该图显示两种方法都学习了目标函数的合理模型。GPR正确地将函数的周期性标识为2 * pi(6.28)，而KRR选择了两倍的周期性4 * pi。除此之外，GPR在预测上提供了合理的置信范围，该预测对于KRR而言是不可用的。两种方法之间的主要区别是拟合和预测所需的时间：虽然拟合KRR原则上是快速的，但针对超参数优化的网格搜索会随着超参数的数量(“维数灾难”)成倍增长。GPR中基于梯度的参数优化不受此指数缩放的影响，因此在具有3维超参数空间的示例中，速度明显加快且预测时间相似， 但是，生成GPR预测分布的方差比仅预测平均值要花费更长的时间。

输出：

Time for KRR fitting: 3.275Time for GPR fitting: 0.074Time for KRR prediction: 0.054Time for GPR prediction: 0.058Time for GPR prediction with standard-deviation: 0.057

print(__doc__)

# 作者: Jan Hendrik Metzen # 许可证: BSD 3 clause

import time

import numpy as np

import matplotlib.pyplot as plt

from sklearn.kernel_ridge import KernelRidgefrom sklearn.model_selection import GridSearchCVfrom sklearn.gaussian_process import GaussianProcessRegressorfrom sklearn.gaussian_process.kernels import WhiteKernel, ExpSineSquared

rng = np.random.RandomState(0)

# 生成样本数据X = 15 * rng.rand(100, 1)y = np.sin(X).ravel()y += 3 * (0.5 - rng.rand(X.shape[0]))  # add noise

# 根据5-fold交叉验证对拟合KernelRidge进行参数选择param_grid = {"alpha": [1e0, 1e-1, 1e-2, 1e-3],              "kernel": [ExpSineSquared(l, p)                         for l in np.logspace(-2, 2, 10)                         for p in np.logspace(0, 2, 10)]}kr = GridSearchCV(KernelRidge(), param_grid=param_grid)stime = time.time()kr.fit(X, y)print("Time for KRR fitting: %.3f" % (time.time() - stime))

gp_kernel = ExpSineSquared(1.0, 5.0, periodicity_bounds=(1e-2, 1e1)) \    + WhiteKernel(1e-1)gpr = GaussianProcessRegressor(kernel=gp_kernel)stime = time.time()gpr.fit(X, y)print("Time for GPR fitting: %.3f" % (time.time() - stime))

# 使用kernel ridge进行预测X_plot = np.linspace(0, 20, 10000)[:, None]stime = time.time()y_kr = kr.predict(X_plot)print("Time for KRR prediction: %.3f" % (time.time() - stime))

# 使用高斯过程回归器进行预测stime = time.time()y_gpr = gpr.predict(X_plot, return_std=False)print("Time for GPR prediction: %.3f" % (time.time() - stime))

stime = time.time()y_gpr, y_std = gpr.predict(X_plot, return_std=True)print("Time for GPR prediction with standard-deviation: %.3f"      % (time.time() - stime))

# 绘制结果plt.figure(figsize=(10, 5))lw = 2plt.scatter(X, y, c='k', label='data')plt.plot(X_plot, np.sin(X_plot), color='navy', lw=lw, label='True')plt.plot(X_plot, y_kr, color='turquoise', lw=lw,         label='KRR (%s)' % kr.best_params_)plt.plot(X_plot, y_gpr, color='darkorange', lw=lw,         label='GPR (%s)' % gpr.kernel_)plt.fill_between(X_plot[:, 0], y_gpr - y_std, y_gpr + y_std, color='darkorange',                 alpha=0.2)plt.xlabel('data')plt.ylabel('target')plt.xlim(0, 20)plt.ylim(-4, 4)plt.title('GPR versus Kernel Ridge')plt.legend(loc="best",  scatterpoints=1, prop={'size': 8})plt.show()

脚本的总运行时间： ( 0 分 3.858 秒)

估计的内存使用量： 8 MB下载python源代码: plot_compare_gpr_krr.py下载Jupyter notebook源代码: plot_compare_gpr_krr.ipynb由Sphinx-Gallery生成的画廊欢迎大家和我一起沿着scikit-learn文档这条路线，一起巩固机器学习算法基础。(添加微信：mthler，备注：sklearn学习，一起进【sklearn机器学习进步群】开启打怪升级的学习之旅。)