Python机器学习：多项式回归与模型泛化008模型泛化与岭回归

岭回归

数据

#数据
import numpy as np
import matplotlib.pyplot as plt
np.random.seed(42)
x = np.random.uniform(-3,3,size=100)
#在最新版本的sklearn中，所有的数据都应该是二维矩阵，哪怕它只是单独一行或一列。
X = x.reshape(-1,1)
y = 0.5 * x + 3 +np.random.normal(0,1,size=100)
plt.scatter(x,y)#非线性关系

#使用多项式回归
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.preprocessing import PolynomialFeatures
from  sklearn.linear_model import LinearRegression
def PolynomialRegression(degree):return Pipeline([('poly',PolynomialFeatures(degree=degree)),('std_scaler',StandardScaler()),('lin_reg',LinearRegression())])

from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test = train_test_split(X,y,random_state=666)


from sklearn.metrics import mean_squared_error
poly_reg = PolynomialRegression(degree=20)
poly_reg.fit(X_train,y_train)y_poly_predict = poly_reg.predict(X_test)
print(mean_squared_error(y_test,y_poly_predict))

167.9401085999025

根据算法画拟合图

def plot_model(model):X_plot = np.linspace(-3,3,100).reshape(100,1)#不加reshpe则大小为(100,)y_plot = model.predict(X_plot)plt.scatter(x,y)plt.axis([-3,3,0,6])plt.plot(X_plot[:,0],y_plot,color = 'r')
plot_model(poly_reg)

使用岭回归，a=0.0001

#使用岭回归
from sklearn.linear_model import Ridge
def RidgeRegression(degree,alpha):return Pipeline([('poly',PolynomialFeatures(degree=degree)),('std_scaler',StandardScaler()),('lin_reg',Ridge(alpha = alpha))])
ridge1_reg = RidgeRegression(20,0.0001)
ridge1_reg.fit(X_train,y_train)y1_predict = ridge1_reg.predict(X_test)
print(mean_squared_error(y_test,y1_predict))

1.3233492754136291

plot_model(ridge1_reg)

a=1

ridge2_reg = RidgeRegression(20,1)
ridge2_reg.fit(X_train,y_train)y2_predict = ridge2_reg.predict(X_test)
print(mean_squared_error(y_test,y2_predict))

1.1888759304218461

plot_model(ridge2_reg)

a = 100

ridge2_reg = RidgeRegression(20,100)
ridge2_reg.fit(X_train,y_train)y2_predict = ridge2_reg.predict(X_test)
print(mean_squared_error(y_test,y2_predict))
plot_model(ridge2_reg)

1.3196456113086197

a非常大所有参数都正则为0了。。。

ridge2_reg = RidgeRegression(20,1000000)#所有的参数都是0
ridge2_reg.fit(X_train,y_train)y2_predict = ridge2_reg.predict(X_test)
print(mean_squared_error(y_test,y2_predict))
plot_model(ridge2_reg)

1.8404103153255003

Python机器学习：多项式回归与模型泛化008模型泛化与岭回归相关推荐

python机器学习多项式回归模型正则化（拉索，岭，弹性网）
多项式回归模型正则化(拉索,岭,弹性网) 目录多项式回归模型正则化(拉索,岭,弹性网) 一.多项式回归模型正则化: 1.L1正则化(lasso)回归 2.L2正则化(Ridge)回归 3.弹性网(E ...
GIS在地质灾害危险性评估与灾后重建中的实践技术应用及python机器学习灾害易发性评价模型建立与优化
地质灾害是指全球地壳自然地质演化过程中,由于地球内动力.外动力或者人为地质动力作用下导致的自然地质和人类的自然灾害突发事件.由于降水.地震等自然作用下,地质灾害在世界范围内频繁发生.我国除滑坡灾害外, ...
【机器学习入门】(8) 线性回归算法：正则化、岭回归、实例应用(房价预测)附python完整代码和数据集
各位同学好,今天我和大家分享一下python机器学习中线性回归算法的实例应用,并介绍正则化.岭回归方法.在上一篇文章中我介绍了线性回归算法的原理及推导过程:[机器学习](7) 线性回归算法:原理.公式 ...
Bobo老师机器学习笔记第八课-方差、偏差、岭回归、LASSO回归？
对误差分类问题一.什么是偏差和方差? 先看下面这幅图图: 方差: 都是围着数据中心的,方差越大则表示距离数据中心分布的越分散,越小说明越近越集中偏差: 偏离数据中心, 偏差越大,说明整个数据距离中 ...
python lasso做交叉验证法_标准方程法_岭回归_LASSO算法_弹性网
程序所用文件:https://files.cnblogs.com/files/henuliulei/%E5%9B%9E%E5%BD%92%E5%88%86%E7%B1%BB%E6%95%B0%E6%8 ...
Python机器学习-多元分类的5种模型
最近上了些机器学习的课程,于是想透过Kaggle资料集来练习整个资料科学专案的流程,在模型训练阶段,虽然听过许多分类模型,但不是很了解其各别的优缺点与适合的使用时机,所以想来整理一篇文章,统整上课学习 ...
吴裕雄 python 机器学习——多项式贝叶斯分类器MultinomialNB模型
import numpy as np import matplotlib.pyplot as pltfrom sklearn import datasets,naive_bayes from skle ...
Python机器学习库sklearn里利用LR模型进行三分类（多分类）的原理
有关LR模型的完整理论知识参考http://blog.csdn.net/cymy001/article/details/78153036 首先,LR将线性模型利用sigmoid函数进一步做了非线性映射 ...
吴裕雄 python 机器学习——人工神经网络与原始感知机模型
import numpy as npfrom matplotlib import pyplot as plt from mpl_toolkits.mplot3d import Axes3D from ...

Python机器学习：多项式回归与模型泛化008模型泛化与岭回归

岭回归

Python机器学习：多项式回归与模型泛化008模型泛化与岭回归相关推荐

最新文章

热门文章