Python 实现Ridge Regression教程

一般多重线性回归，使用p个预测变量和一个响应变量拟合模型，形式如下：

Y = β 0 + β 1 X 1 + β 2 X 2 + … + β p X p + ε {β_0 + β_1X_1 + β_2X_2 + … + β_pX_p + ε} β0+β1X1+β2X2+…+βpXp+ε

参数解释如下：

Y: 响应变量
X j {X_j} Xj: 第j个预测变量
β j {β_j} βj: 在保持所有其他预测不变的情况下， X j {X_j} Xj增加一个单位对Y的平均影响
ε: 误差项

用最小二乘法选择 β 0 、 β 1 、 B 2 、 … 、 β p {β_0、β_1、B_2、…、β_p} β0、β1、B2、…、βp的值，以最小化残差平方和(RSS):

RSS = Σ ( y i – y ^ i ) 2 {Σ(y_i – ŷ_i)^2} Σ(yi–y^i)2

解释参数如下：

Σ: 求和符号
y i {y_i} yi: 第i个观测记录的响应值
y ^ i {ŷ_i} y^i: 使用多重线性回归模型基于第i个观测记录的预测值

但是当预测变量高度相关，则会产生多重共线问题，可能导致模型系数估计不可靠、方差较高。

在不删除预测变量的情况下，解决这类问题的一种方法是使用岭回归，它试图使得下面误差最小：

RSS + λ Σ β j 2 {λΣβ_j^2} λΣβj2

当j范围从1到p，并且λ ≥ 0; 其中第二项被称为收缩惩罚。当λ = 0时惩罚项没有影响，岭回归与最小二乘法效果一样。然而当λ 变大，收缩惩罚影响加大和岭回归系数估计接近零，使得模型中影响最小的预测变量会以最快的速度趋近于零。

示例

首先导入执行岭回归需要的包：

import pandas as pd
from numpy import arange
from sklearn.linear_model import Ridge
from sklearn.linear_model import RidgeCV
from sklearn.model_selection import RepeatedKFold

加载数据

我们示例数据mtcars，包括33个不同品牌汽车信息，我们使用下面预测变量，hp作为响应变量：

mpg
wt
drat
qsec

下面代码加载数据：


# read in data
data_full = pd.read_csv("data/mtcars.csv")# select subset of data
data = data_full[["mpg", "wt", "drat", "qsec", "hp"]]# view first six rows of data
data[0:6]

拟合模型

下面使用sklearn包中 RidgeCV() 拟合岭回归模型，并使用 RepeatedKFold() 执行k折交叉验证，发现最佳惩罚项中的λ值。

示例中使用k=10,重复交叉验证3次。RidgeCV() 中定义λ值范围：0~1，每次增加0.01：

# define predictor and response variables
X = data[["mpg", "wt", "drat", "qsec"]]
y = data["hp"]# define cross-validation method to evaluate model
cv = RepeatedKFold(n_splits=10, n_repeats=3, random_state=1)# define model
model = RidgeCV(alphas=arange(0, 1, 0.01), cv=cv, scoring='neg_mean_absolute_error')# fit model
model.fit(X, y)# display lambda that produced the lowest test MSE
print(model.alpha_)## 输出0.99

测试MSE的最小化值是0.99

使用模型进行预测

最后使用上面的模型进行预测，预测数据如下：

mpg: 24
wt: 2.5
drat: 3.5
qsec: 18.5

下面代码使用岭回归模型预测hp的值：

# define new observation
new = [24, 2.5, 3.5, 18.5]# predict hp value using ridge regression model
model.predict([new])# array([104.16398018])

根据输入值，模型预测这辆车的HP值为104.16398018。