2.1 线性回归简介

学习目标

• 了解线性回归的应用场景
• 知道线性回归的定义

---

1 线性回归应用场景

• 房价预测
• 销售额度预测
• 贷款额度预测

举例：

2 什么是线性回归

2.1 定义与公式

线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。

• 特点：只有一个自变量的情况称为单变量回归，多于一个自变量情况的叫做多元回归

  

• 线性回归用矩阵表示举例

那么怎么理解呢？我们来看几个例子

• 期末成绩：0.7×考试成绩+0.3×平时成绩
• 房子价格 = 0.02×中心区域的距离 + 0.04×城市一氧化氮浓度 + (-0.12×自住房平均房价) + 0.254×城镇犯罪率

上面两个例子，我们看到特征值与目标值之间建立了一个关系，这个关系可以理解为线性模型。

2.2 线性回归的特征与目标的关系分析

线性回归当中主要有两种模型，**一种是线性关系，另一种是非线性关系。**在这里我们只能画一个平面更好去理解，所以都用单个特征或两个特征举例子。

• 线性关系

  • 单变量线性关系：

  

  • 多变量线性关系

    

注释：单特征与目标值的关系呈直线关系，或者两个特征与目标值呈现平面的关系

更高维度的我们不用自己去想，记住这种关系即可

• 非线性关系

  

注释：为什么会这样的关系呢？原因是什么？

如果是非线性关系，那么回归方程可以理解为：

w_1x_1+w_2x_2^2+w_3x_32w1x1+w2x22+w3x32

3 小结

• 线性回归的定义【了解】
  • 利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式
• 线性回归的分类【知道】
  • 线性关系
  • 非线性关系

2.2 线性回归api初步使用

学习目标

• 知道线性回归api的简单使用

---

1 线性回归API

1.1. Linear Models — scikit-learn 1.1.2 documentation

• sklearn.linear_model.LinearRegression()
  • LinearRegression.coef_：模型的w的值
  • LinearRegression.intercept_：b的值

2 举例

2.1 步骤分析

• 1.获取数据集
• 2.数据基本处理（该案例中省略）
• 3.特征工程（该案例中省略）
• 4.机器学习
• 5.模型评估（该案例中省略）

2.2 代码过程

• 导入模块

from sklearn.linear_model import LinearRegression

• 构造数据集

x = [[80, 86],
[82, 80],
[85, 78],
[90, 90],
[86, 82],
[82, 90],
[78, 80],
[92, 94]]
y = [84.2, 80.6, 80.1, 90, 83.2, 87.6, 79.4, 93.4]

• 机器学习-- 模型训练

# 实例化API
estimator = LinearRegression()
# 使用fit方法进行训练
estimator.fit(x,y)
#
print(estimator.coef_)
print(estimator.intercept_)estimator.predict([[100, 80]])

3 小结

• sklearn.linear_model.LinearRegression()
  • LinearRegression.coef_：模型的w的值
  • LinearRegression.intercept_：b的值

2.3 数学:求导

学习目标

• 知道常见的求导方法
• 知道导数的四则运算

---

1 常见函数的导数

2 导数的四则运算

3 练习

4 矩阵（向量）求导 [了解]

参考链接：https://en.wikipedia.org/wiki/Matrix_calculus#Scalar-by-vector_identities

3 小结

• 常见函数的求导方式和导数的四则运算

2.4 线性回归的损失和优化

学习目标

• 知道线性回归中损失函数
• 知道使用梯度下降法对损失函数优化的过程

---

假设刚才的房子例子，真实的数据之间存在这样的关系：

真实关系：真实房子价格 = 0.02×中心区域的距离 + 0.04×城市一氧化氮浓度 + (-0.12×自住房平均房价) + 0.254×城镇犯罪率

那么现在呢，我们随意指定一个关系（猜测）

随机指定关系：预测房子价格 = 0.25×中心区域的距离 + 0.14×城市一氧化氮浓度 + 0.42×自住房平均房价 + 0.34×城镇犯罪率

请问这样的话，会发生什么？真实结果与我们预测的结果之间是不是存在一定的误差呢？类似这样样子

红色的先更好？是因为红线的损失更少。

既然存在这个误差，那我们就将这个误差给衡量出来

1 损失函数

总损失定义为：

• yi为第i个训练样本的真实值
• h(xi)为第i个训练样本特征值组合预测函数
• 这个公式也叫最小二乘法

如何去减少这个损失，使我们预测的更加准确些？既然存在了这个损失，我们一直说机器学习有自动学习的功能，在线性回归这里更是能够体现。这里可以通过一些优化方法去优化（其实是数学当中的求导功能）回归的总损失！！！

2 优化算法

如何去求模型当中的W，使得损失最小？（目的是找到最小损失对应的W值）

• 梯度下降法

2.1什么是梯度下降法

• 梯度下降法是用来优化模型，使模型达到最优解的方法。
• 在数学上，梯度，也叫导数。梯度的方向是模型函数值增长最快的方向，梯度的反方向就是函数值下降最快的方向。
• 目标函数也叫损失函数，该函数是衡量的模型的预测值和数据的真实值之间的差距，所以我们的目标是，使这个差距最小，这样模型的预测值就可以认为是数据的真实值。

梯度下降法的基本思想可以类比为一个下山的过程。

假设这样一个场景：

一个人被困在山上，需要从山上下来(i.e. 找到山的最低点，也就是山谷)。但此时山上的浓雾很大，导致可视度很低。

因此，下山的路径就无法确定，他必须利用自己周围的信息去找到下山的路径。这个时候，他就可以利用梯度下降算法来帮助自己下山。

具体来说就是，以他当前的所处的位置为基准，寻找这个位置最陡峭的地方，然后朝着山的高度下降的地方走，（同理，如果我们的目标是上山，也就是爬到山顶，那么此时应该是朝着最陡峭的方向往上走）。然后每走一段距离，都反复采用同一个方法，最后就能成功的抵达山谷。

梯度下降的基本过程就和下山的场景很类似。

首先，我们有一个可微分的函数。这个函数就代表着一座山。

我们的目标就是找到这个函数的最小值，也就是山底。

根据之前的场景假设，最快的下山的方式就是找到当前位置最陡峭的方向，然后沿着此方向向下走，对应到函数中，就是找到给定点的梯度 ，然后朝着梯度相反的方向，就能让函数值下降的最快！因为梯度的方向就是函数值变化最快的方向。 所以，我们重复利用这个方法，反复求取梯度，最后就能到达局部的最小值，这就类似于我们下山的过程。而求取梯度就确定了最陡峭的方向，也就是场景中测量方向的手段。

2.2 梯度的概念

梯度是微积分中一个很重要的概念

• 在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率；

• 在多变量函数中，梯度是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向；

  • 在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。

这也就说明了为什么我们需要千方百计的求取梯度！我们需要到达山底，就需要在每一步观测到此时最陡峭的地方，梯度就恰巧告诉了我们这个方向。梯度的方向是函数在给定点上升最快的方向，那么梯度的反方向就是函数在给定点下降最快的方向，这正是我们所需要的。所以我们只要沿着梯度的反方向一直走，就能走到局部的最低点！

2.3 如何使用梯度下降法

给定函数：
f ( x , y ) = 3 x 2 + 4 y 2 − 10 f(x,y) = 3x^2+4y^2-10 f(x,y)=3x2+4y2−10
求该函数的最小值。

1.随机初始化 x x x和 y y y的值 x = 6 x=6 x=6， y = 3 y=3 y=3，

2.分别求出 f ( x , y f(x,y f(x,y)对 x x x的导数 f ′ ( x ) f^{'}(x) f′(x)和对 y y y的导数 f ′ ( y ) f^{'}(y) f′(y)：
f ′ ( x ) = 6 x = 36 ; f ′ ( y ) = 8 y = 24 f^{'}(x) = 6x=36;f^{'}(y) = 8y=24 f′(x)=6x=36;f′(y)=8y=24
3.修改 x x x和 y y y的值很小一点，比如
x ( t + 1 ) = x t − 0.001 f ′ ( x ) = 6 − 0.001 ∗ 36 = 5.964 x_{(t+1)} = x_t -0.001f^{'}(x) = 6-0.001*36 = 5.964 x(t+1)​=xt​−0.001f′(x)=6−0.001∗36=5.964

y ( t + 1 ) = y t − 0.001 f ′ ( y ) = 3 − 0.001 ∗ 24 = 2.976 y_{(t+1)} = y_t -0.001f^{'}(y) = 3 - 0.001*24 = 2.976 y(t+1)​=yt​−0.001f′(y)=3−0.001∗24=2.976

4.循环执行步骤2和步骤3，直到函数值达到最小（比如说我们前后两次函数值的差值为0，我们就说函数值达到了最小了）。

2.4 两个参数的梯度下降法一般流程：

在神经网络中，上面的例子中的x和y使用 w 1 w_1 w1​和 w 2 w_2 w2​表示， f ( x , y ) f(x,y) f(x,y)叫损失函数，我们的目标是使函数值最小。(我们可以简单的认为 3 x 2 + 4 y 2 3x^2+4y^2 3x2+4y2是模型的预测值，10是数据的真实值。)

1.随机初始化 w 1 w_1 w1​和 w 2 w_2 w2​的值。

2.循环遍历：for i=1…收敛:

​ w 1 = w 1 − α Δ w 1 w_1 = w_1-\alpha\Delta{w_1} w1​=w1​−αΔw1​

​ w 2 = w 2 − α Δ w 2 w_2 = w_2-\alpha\Delta{w_2} w2​=w2​−αΔw2​

2.5 各种形式的梯度下降法

1.SGD：随机梯度下降法：求导数的时候使用一个样本

2.mini-batch梯度下降法：求导数的时候使用一批数据。

3.batch梯度下降法：求导数的时候使用全部的数据。

2.1 正规方程

2.1.1 什么是正规方程

X W = Y X T X W = X T Y ( X T X ) − 1 X T X W = ( X T X ) − 1 X T Y XW=Y \\ X^{T}XW = X^{T}Y \\ (X^{T}X)^{-1}X^{T}XW = (X^{T}X)^{-1}X^{T}Y XW=YXTXW=XTY(XTX)−1XTXW=(XTX)−1XTY

2.5 线性回归api再介绍

学习目标

• 了解正规方程的api及常用参数
• 了解梯度下降法api及常用参数

---

• sklearn.linear_model.LinearRegression(fit_intercept=True)
  • 通过正规方程优化
  • 参数
    • fit_intercept：是否计算偏置，如果设置为False，不计算b，会拟合一条通过原点的直线。
  • 属性
    • LinearRegression.coef_：回归系数
    • LinearRegression.intercept_：偏置
• sklearn.linear_model.SGDRegressor(loss=“squared_loss”, fit_intercept=True, learning_rate =‘invscaling’, eta0=0.01)
  • SGDRegressor类实现了随机梯度下降学习，它支持不同的loss函数和正则化惩罚项来拟合线性回归模型。
  • 参数：
    • loss:损失类型
      • loss=”squared_loss”: 普通最小二乘法
    • fit_intercept：是否计算偏置
    • eta0：学习率
  • 属性：
    • SGDRegressor.coef_：回归系数
    • SGDRegressor.intercept_：偏置

sklearn提供给我们两种实现的API， 可以根据选择使用

小结

• 正规方程
  • sklearn.linear_model.LinearRegression()
• 梯度下降法
  • sklearn.linear_model.SGDRegressor(）

2.6 案例：波士顿房价预测

学习目标

• 通过案例掌握正规方程和梯度下降法api的使用

---

1 案例背景介绍

• 数据介绍

给定的这些特征，是专家们得出的影响房价的结果属性。我们此阶段不需要自己去探究特征是否有用，只需要使用这些特征。到后面量化很多特征需要我们自己去寻找

2 案例分析

回归当中的数据大小不一致，是否会导致结果影响较大。所以需要做标准化处理。

• 数据分割与标准化处理
• 回归预测
• 线性回归的算法效果评估

3 回归性能评估

均方误差(Mean Squared Error)MSE)评价机制：

注：yi为预测值， y − y^- y−为真实值。

思考：MSE和最小二乘法的区别是？

• sklearn.metrics.mean_squared_error(y_true, y_pred)
  • 均方误差回归损失
  • y_true:真实值
  • y_pred:预测值
  • return:浮点数结果

4 代码实现

4.1 正规方程

from sklearn.datasets import load_boston
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
from sklearn.linear_model import LinearRegression
def linear_model1():"""线性回归:正规方程:return:None"""# 1.获取数据data = load_boston()# 2.数据集划分x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, random_state=22)# 3.特征工程-标准化transfer = StandardScaler()x_train = transfer.fit_transform(x_train)x_test = transfer.transform(x_test)# 4.机器学习-线性回归(正规方程)estimator = LinearRegression()estimator.fit(x_train, y_train)# 5.模型评估# 5.1 获取系数等值y_predict = estimator.predict(x_test)print("预测值为:\n", y_predict)print("模型中的系数为:\n", estimator.coef_)print("模型中的偏置为:\n", estimator.intercept_)# 5.2 评价# 均方误差error = mean_squared_error(y_test, y_predict)print("误差为:\n", error)return None
linear_model1()

4.2 梯度下降法

from sklearn.datasets import load_boston
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
from sklearn.linear_model import SGDRegressor
def linear_model2():"""线性回归:梯度下降法:return:None"""# 1.获取数据data = load_boston()# 2.数据集划分x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, random_state=22)# 3.特征工程-标准化transfer = StandardScaler()x_train = transfer.fit_transform(x_train)x_test = transfer.transform(x_test)# 4.机器学习-线性回归(特征方程)estimator = SGDRegressor(max_iter=1000)estimator.fit(x_train, y_train)# 5.模型评估# 5.1 获取系数等值y_predict = estimator.predict(x_test)print("预测值为:\n", y_predict)print("模型中的系数为:\n", estimator.coef_)print("模型中的偏置为:\n", estimator.intercept_)# 5.2 评价# 均方误差error = mean_squared_error(y_test, y_predict)print("误差为:\n", error)return None
linear_model2()

我们也可以尝试去修改学习率

estimator = SGDRegressor(max_iter=1000,eta0=0.1)

此时我们可以通过调参数，找到学习率效果更好的值。

5 小结

• 正规方程和梯度下降法api在真实案例中的使用【知道】
• 线性回归性能评估【知道】
  • 均方误差

2.7 欠拟合和过拟合

学习目标

• 掌握过拟合、欠拟合的概念
• 掌握过拟合、欠拟合产生的原因
• 知道什么是正则化，以及正则化的分类

---

1 定义

• 过拟合：一个假设在训练数据上能够获得比其他假设更好的拟合， 但是在测试数据集上却不能很好地拟合数据，此时认为这个假设出现了过拟合的现象。(模型过于复杂)
• 欠拟合：一个假设在训练数据上不能获得更好的拟合，并且在测试数据集上也不能很好地拟合数据，此时认为这个假设出现了欠拟合的现象。(模型过于简单)

那么是什么原因导致模型复杂？线性回归进行训练学习的时候变成模型会变得复杂，这里就对应前面再说的线性回归的两种关系，非线性关系的数据，也就是存在很多无用的特征或者现实中的事物特征跟目标值的关系并不是简单的线性关系。

2 原因以及解决办法

• 欠拟合原因以及解决办法
  • 原因：学习到数据的特征过少
  • 解决办法：
    • **1）添加其他特征项，**有时候我们模型出现欠拟合的时候是因为特征项不够导致的，可以添加其他特征项来很好地解决。例如，“组合”、“泛化”、“相关性”三类特征是特征添加的重要手段，无论在什么场景，都可以照葫芦画瓢，总会得到意想不到的效果。除上面的特征之外，“上下文特征”、“平台特征”等等，都可以作为特征添加的首选项。
    • 2）添加多项式特征，这个在机器学习算法里面用的很普遍，例如将线性模型通过添加二次项或者三次项使模型泛化能力更强。
• 过拟合原因以及解决办法
  • 原因：原始特征过多，存在一些嘈杂特征， 模型过于复杂是因为模型尝试去兼顾各个测试数据点
  • 解决办法：
    • 1）重新清洗数据，导致过拟合的一个原因也有可能是数据不纯导致的，如果出现了过拟合就需要我们重新清洗数据。
    • 2）增大数据的训练量，还有一个原因就是我们用于训练的数据量太小导致的，训练数据占总数据的比例过小。
    • 3）正则化
    • 4）减少特征维度，防止维灾难

3 正则化

3.1 什么是正则化

在解决回归过拟合中，我们选择正则化。但是对于其他机器学习算法如分类算法来说也会出现这样的问题，除了一些算法本身作用之外（决策树、神经网络），我们更多的也是去自己做特征选择，包括之前说的删除、合并一些特征

如何解决？

在学习的时候，数据提供的特征有些影响模型复杂度或者这个特征的数据点异常较多，所以算法在学习的时候尽量减少这个特征的影响（甚至删除某个特征的影响），这就是正则化

注：调整时候，算法并不知道某个特征影响，而是去调整参数得出优化的结果

3.2 正则化类别

• L2正则化
  • 作用：可以使得其中一些W的都很小，都接近于0，削弱某个特征的影响
  • 优点：越小的参数说明模型越简单，越简单的模型则越不容易产生过拟合现象
  • Ridge回归
• L1正则化
  • 作用：可以使得其中一些W的值直接为0，删除这个特征的影响
  • LASSO回归

---

4 小结

• 欠拟合【掌握】
  • 在训练集上表现不好，在测试集上表现不好
  • 解决方法：
    • 继续学习
      • 1.添加其他特征项
      • 2.添加多项式特征
• 过拟合【掌握】
  • 在训练集上表现好，在测试集上表现不好
  • 解决方法：
    • 1.重新清洗数据集
    • 2.增大数据的训练量
    • 3.正则化
    • 4.减少特征维度
• 正则化【掌握】
  • 通过限制高次项的系数进行防止过拟合
  • L1正则化
    • 理解：直接把高次项前面的系数变为0
    • Lasso回归
  • L2正则化
    • 理解：把高次项前面的系数变成特别小的值
    • 岭回归

2.8 正则化线性模型

学习目标

• 知道正则化中岭回归的线性模型
• 知道正则化中lasso回归的线性模型
• 知道正则化中弹性网络的线性模型
• 了解正则化中early stopping的线性模型

---

• Ridge Regression 岭回归
• Lasso 回归
• Elastic Net 弹性网络
• Early stopping

1 Ridge Regression (岭回归)

岭回归是线性回归的正则化版本，即在原来的线性回归的 cost function 中添加正则项（regularization term）:

以达到在拟合数据的同时，使模型权重尽可能小的目的,岭回归代价函数:

• α=0：岭回归退化为线性回归

2 Lasso Regression(Lasso 回归)

Lasso 回归是线性回归的另一种正则化版本，正则项为权值向量的ℓ1范数。

Lasso回归的代价函数 ：

【注意 】

• Lasso Regression 的代价函数在 θi=0处是不可导的.
• 解决方法：在θi=0处用一个次梯度向量(subgradient vector)代替梯度，如下式
• Lasso Regression 的次梯度向量

Lasso Regression 有一个很重要的性质是：倾向于完全消除不重要的权重。

例如：当α 取值相对较大时，高阶多项式退化为二次甚至是线性：高阶多项式特征的权重被置为0。

也就是说，Lasso Regression 能够自动进行特征选择，并输出一个稀疏模型（只有少数特征的权重是非零的）。

3 Elastic Net (弹性网络)

弹性网络在岭回归和Lasso回归中进行了折中，通过 混合比(mix ratio) r 进行控制：

• r=0：弹性网络变为岭回归
• r=1：弹性网络便为Lasso回归

弹性网络的代价函数 ：

一般来说，我们应避免使用朴素线性回归，而应对模型进行一定的正则化处理，那如何选择正则化方法呢？

小结：

• 常用：岭回归

• 假设只有少部分特征是有用的：

  • 弹性网络
  • Lasso
  • 一般来说，弹性网络的使用更为广泛。因为在特征维度高于训练样本数，或者特征是强相关的情况下，Lasso回归的表现不太稳定。

• api:

  • from sklearn.linear_model import Ridge, ElasticNet, Lasso
    

4 Early Stopping [了解]

Early Stopping 也是正则化迭代学习的方法之一。

其做法为：在验证错误率达到最小值的时候停止训练。

5 小结

• Ridge Regression 岭回归
  • 就是把系数添加平方项
  • 然后限制系数值的大小
  • α值越小，系数值越大，α越大，系数值越小
• Lasso 回归
  • 对系数值进行绝对值处理
  • 由于绝对值在顶点处不可导，所以进行计算的过程中产生很多0，最后得到结果为：稀疏矩阵
• Elastic Net 弹性网络
  • 是前两个内容的综合
  • 设置了一个r,如果r=0–岭回归；r=1–Lasso回归
• Early stopping
  • 通过限制错误率的阈值，进行停止

2.9 线性回归的改进-岭回归

学习目标

• 知道岭回归api的具体使用

---

1 API

• sklearn.linear_model.Ridge(alpha=1.0, fit_intercept=True,solver=“auto”, normalize=False)
  • 具有l2正则化的线性回归
  • alpha:正则化力度，也叫 λ
    • λ取值：0~1 1~10
  • solver:会根据数据自动选择优化方法
    • sag:如果数据集、特征都比较大，选择该随机梯度下降优化
  • Ridge.coef_:回归权重
  • Ridge.intercept_:回归偏置

2 观察正则化程度的变化，对结果的影响？

• 正则化力度越大，权重系数会越小
• 正则化力度越小，权重系数会越大

3 波士顿房价预测

from sklearn.datasets import load_boston
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
from sklearn.linear_model import Ridge
def linear_model3():"""线性回归:岭回归:return:"""# 1.获取数据data = load_boston()# 2.数据集划分x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, random_state=22)# 3.特征工程-标准化transfer = StandardScaler()x_train = transfer.fit_transform(x_train)x_test = transfer.fit_transform(x_test)# 4.机器学习-线性回归(岭回归)estimator = Ridge(alpha=1)estimator.fit(x_train, y_train)# 5.模型评估# 5.1 获取系数等值y_predict = estimator.predict(x_test)print("预测值为:\n", y_predict)print("模型中的系数为:\n", estimator.coef_)print("模型中的偏置为:\n", estimator.intercept_)# 5.2 评价# 均方误差error = mean_squared_error(y_test, y_predict)print("误差为:\n", error)
linear_model3()

4 小结

• sklearn.linear_model.Ridge(alpha=1.0, fit_intercept=True,solver=“auto”)【知道】
  • 具有l2正则化的线性回归
  • alpha – 正则化
    • 正则化力度越大，权重系数会越小
    • 正则化力度越小，权重系数会越大

2.10 多项式回归与Pipeline

学习目标

• 知道多项式回归api的具体使用

---

1 API

• sklearn.preprocessing.PolynomialFeatures(degree=2)

  • 生成多项式特征
  • degree：生成不小于degree次幂的多项式特征。如给定两个特征【a,b】，degree=2，则生成【1，a，b，ab， a 2 a^2 a2, b 2 b^2 b2】

• sklearn.pipeline.Pipeline(steps=

  [(‘scaler’,StandardScaler()),
  (‘lin_reg’, LinearRegression())]

  )

  • 流水线工作
  • steps：List of (name, transform) tuples

2.11 模型的保存和加载

学习目标

• 知道sklearn中模型的保存和加载

---

1 sklearn模型的保存和加载API

• from sklearn.externals import joblib
  • 保存：joblib.dump(model, path)
  • 加载：estimator = joblib.load(path)

2 线性回归的模型保存加载案例

from sklearn.datasets import load_boston
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
from sklearn.linear_model import Ridge
import joblib
def load_dump():"""模型保存和加载:return:"""# 1.获取数据data = load_boston()# 2.数据集划分x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, random_state=22)# 3.特征工程-标准化transfer = StandardScaler()x_train = transfer.fit_transform(x_train)x_test = transfer.fit_transform(x_test)#4.机器学习-线性回归(岭回归)# 4.1 模型训练estimator = Ridge(alpha=1)estimator.fit(x_train, y_train)# 4.2 模型保存joblib.dump(estimator, "./data/test.pkl")#     # 4.3 模型加载
#     estimator = joblib.load("./data/test.pkl")# 5.模型评估# 5.1 获取系数等值y_predict = estimator.predict(x_test)print("预测值为:\n", y_predict)print("模型中的系数为:\n", estimator.coef_)print("模型中的偏置为:\n", estimator.intercept_)# 5.2 评价# 均方误差error = mean_squared_error(y_test, y_predict)print("误差为:\n", error)
load_dump()

3 小结

• sklearn.externals import joblib【知道】
  • 保存：joblib.dump(estimator, ‘test.pkl’)
  • 加载：estimator = joblib.load(‘test.pkl’)
  • 注意：
    • 1.保存文件，后缀名是**.pkl
      2.加载模型是需要通过一个变量进行承接

线性回归算法 从认知到实战内含波士顿房价预测案例相关推荐

1. 波士顿房价预测python代码_使用Python和Numpy构建神经网络模型——波士顿房价预测案例...

   原标题:使用Python和Numpy构建神经网络模型--波士顿房价预测案例

2. 手把手教你学Python之波士顿房价预测（scikit-learn的应用）

   目录 1.波士顿房价预测介绍 2.线性回归算法 3.调用scikit-learn库实现房价预测 1.波士顿房价预测介绍 问题描述:波士顿房价数据集统计的是20世纪70年代中期波士顿郊区房价的中位数,统 ...

3. 波士顿房价预测——机器学习入门级案例

   一.数据处理 1.1 数据集介绍 本实验使用波士顿房价预测数据集,共506条样本数据,每条样本包含了13种可能影响房价的因素和该类房屋价格的中位数,各字段含义如下表所示: 字段名 类型 含义 CRIM ...

4. MOOC网深度学习应用开发1——Tensorflow基础、多元线性回归:波士顿房价预测问题Tensorflow实战、MNIST手写数字识别：分类应用入门、泰坦尼克生存预测

   Tensorflow基础 tensor基础 当数据类型不同时,程序做相加等运算会报错,可以通过隐式转换的方式避免此类报错. 单变量线性回归 监督式机器学习的基本术语 线性回归的Tensorflow实战 ...

5. 机器学习（11）线性回归（2）实战 -- 正规方程优化、梯度下降优化（波士顿房价预测）

   目录 一.波士顿房价预测(正规方程优化) API 1.获取数据集 2.划分数据集 3.标准化 4. 创建预估器,得到模型 5.模型评估(均方差评估) 代码 二.波士顿房价预测(正规方程优化) API ...

6. 机器学习实战二：波士顿房价预测 Boston Housing

   波士顿房价预测 Boston housing 这是一个波士顿房价预测的一个实战,上一次的Titantic是生存预测,其实本质上是一个分类问题,就是根据数据分为1或为0,这次的波士顿房价预测更像是预测一 ...

7. 线性回归之案例：波士顿房价预测

   线性回归之案例:波士顿房价预测 数据介绍   [13个特征值,1个目标值] 给定的这些特征,是专家们得出的影响房价的结果属性.此阶段不需要自己去探究特征是否有用,只需要使用这些特征.到后面量化很多特征 ...

8. 机器学习入门实践——线性回归模型（波士顿房价预测）

   机器学习入门实践--线性回归模型(波士顿房价预测) 一.背景介绍 给定一个大小为 n n n的数据集 { y i , x i 1 , . . . , x i d } i = 1 n {\{y_{i}, ...

9. 【机器学习】P25 随机森林算法（2） 实现 “波士顿房价” 预测

   随机森林算法 Random Forest Algorithm 随机森林算法 随机森林算法实现波士顿房价预测 随机森林算法 随机森林(Random Forest)算法 是一种 集成学习(Ensemble ...

最新文章

1. 我失败的阿里程序员生涯
2. mysql事务中怎么更改空值_MySQL事务
3. python删除文件夹中的jpg_Python简单删除目录下文件以及文件夹的方法
4. 【C语言】计算N名同学的某门功课的平均成绩
5. 用Python破解数学教育
6. PGer看过来！亚洲最大的PG技术盛会重磅来袭！墨天轮全球同步直播！
7. xml xsd java
8. graphicsmagick常用命令
9. JavaScript学习10 JS数据类型、强制类型转换和对象属性
10. vscode 插件之 htmltagwrap的修改
11. Atitit attilax擅长项目解析与大数据采集提取 词法分析 电话号码提取 package vcfvcardprj; import java.util.Collection; imp
12. openwrt udp服务器_开启tftp服务器 tftp服务器的含义
13. 程序员 写作_如何经常写作可以使您成为更好的程序员
14. shp文件纯前端的上传、解析、编辑、下载
15. 怎么实现在FireFox IE Opera Safari 都可以正常播放WMV和MOV的网页播放器代码
16. 2018全新升级旗舰版vbox硬件级虚拟机系统 vm去虚拟化修改信息工具 批量启动克隆 virtualbox
17. 跟ChatGPT，聊聊ChatGPT
18. Activiti6+SpringBoot---会签功能学习-1
19. 针对亚马逊卖家可深挖的畅销产品建议
20. 计算机应用中英文缩写ai表示,2012浙江省全国计算机等级考试二级VB笔试试卷及参考答案考资料...

热门文章

1. 小白菜 docker 基础命令整理
2. 镶嵌数据集工具小结（二）镶嵌数据轮廓线与边界
3. 对数运算法则(rule of logarithmic operations）
4. win8计算机背景黑色,Win8电脑桌面背景突然变黑的解决方法
5. php think migrate,ThinkPHP 5.1——使用 migrate 迁移和填充数据库 tp
6. 某地公安局网警CTF比赛逆向路由固件
7. 全局唯一序列号的生成
8. 关于史考特证券（scottrade Inc）资金转出的手续费问题
9. Unity MVC 案例学习笔记《二》
10. 如何无视硬件限制安装Windows 11？