【ML】欠拟合（underfitting）和 过拟合（overfitting）实践（基于sklearn）

  • 数据集
  • 加载数据
  • 可视化数据
  • 一阶模型（欠拟合）
    • 训练
    • 预测+评估
    • 可视化
  • 二级模型（符合要求）
  • 五阶模型（过拟合）

数据集

训练集：https://www.kaggle.com/datasets/yuanheqiuye/t-r-train
测试集：https://www.kaggle.com/datasets/yuanheqiuye/t-r-test

加载数据

# 加载数据
import numpy as np
import pandas as pd data_train = pd.read_csv('/kaggle/input/t-r-train/T-R-train.csv')
data_test = pd.read_csv('/kaggle/input/t-r-test/T-R-test.csv')

可视化数据

# 可视化
X_train = data_train.loc[:,'T']
# 注意这里模型fit方法要求必须是ndarray
X_train = np.array(X_train).reshape(-1,1)
y_train = data_train.loc[:,'rate']
X_test = data_test.loc[:,'T']
# 注意这里模型fit方法要求必须是ndarray
X_test = np.array(X_test).reshape(-1,1)
y_test = data_test.loc[:,'rate']
from matplotlib import pyplot as plt
plt.scatter(X_train,y_train)
plt.show()

一阶模型（欠拟合）

训练

# 训练一阶（欠拟合）
from sklearn.linear_model import LinearRegression
model1 = LinearRegression()
model1.fit(X_train,y_train)

预测+评估

y_train_predict = model1.predict(X_train)
y_test_predict = model1.predict(X_test)
print(y_test_predict.shape)
from sklearn.metrics import r2_score
r2_train = r2_score(y_train, y_train_predict)
r2_test = r2_score(y_test, y_test_predict)
print('r2_train=', r2_train, 'r2_test=', r2_test)

输出：r2_train= 0.016665703886981964 r2_test= -0.758336343735132

r2_score结果远小于1，可知结果很差。

可视化

# 绘图
fig2 = plt.figure()
plt.scatter(X_train,y_train)
plt.scatter(X_test,y_test)
X_range = np.arange(40,90).reshape(-1,1)
y_range_predict = model1.predict(X_range)
plt.plot(X_range,y_range_predict)
plt.show()


可视化结果跟点的拟合程度非常差。

二级模型（符合要求）

# 训练二阶# 数据准备
from sklearn.preprocessing import PolynomialFeatures
poly1 = PolynomialFeatures(degree=2)
X_2_train = poly1.fit_transform(X_train)
X_2_test = poly1.transform(X_test)
print(X_2_train.shape, X_2_test.shape)
# 输出：(18, 3) (7, 3)# 训练
model2 = LinearRegression()
model2.fit(X_2_train, y_train)# 评分
y_2_train_predict = model2.predict(X_2_train)
y_2_test_predict = model2.predict(X_2_test)
from sklearn.metrics import r2_score
r2_2_train = r2_score(y_train, y_2_train_predict)
r2_2_test = r2_score(y_test, y_2_test_predict)
print('r2_2_train=', r2_2_train, 'r2_2_test=', r2_2_test)
# 输出：r2_2_train= 0.9700515400689422 r2_2_test= 0.9963954556468684# 可视化
fig3 = plt.figure()
plt.scatter(X_train,y_train)
plt.scatter(X_test,y_test)
X_range = np.arange(40,90).reshape(-1,1)
X_2_range = poly1.transform(X_range)
y_2_range_predict = model2.predict(X_2_range)
plt.plot(X_range,y_2_range_predict)
plt.show()

五阶模型（过拟合）

# 数据准备
from sklearn.preprocessing import PolynomialFeatures
poly1 = PolynomialFeatures(degree=5)
X_5_train = poly1.fit_transform(X_train)
X_5_test = poly1.transform(X_test)
print(X_5_train.shape, X_5_test.shape)
# 输出：(18, 3) (7, 3)# 训练
model5 = LinearRegression()
model5.fit(X_5_train, y_train)# 评分
y_5_train_predict = model5.predict(X_5_train)
y_5_test_predict = model5.predict(X_5_test)
from sklearn.metrics import r2_score
r2_5_train = r2_score(y_train, y_5_train_predict)
r2_5_test = r2_score(y_test, y_5_test_predict)
print('r2_5_train=', r2_5_train, 'r2_5_test=', r2_5_test)
# 输出：r2_5_train= 0.9978527267187657 r2_5_test= 0.5437837627381455# 可视化
fig3 = plt.figure()
plt.scatter(X_train,y_train)
plt.scatter(X_test,y_test)
X_range = np.arange(40,90).reshape(-1,1)
X_5_range = poly1.transform(X_range)
y_5_range_predict = model5.predict(X_5_range)
plt.plot(X_range,y_5_range_predict)
plt.show()

输出：r2_5_train= 0.9978527267187657 r2_5_test= 0.5437837627381455

结合r2_score和上图可知，过拟合情况下，模型对训练数据的拟合程度非常好，但在测试数据集上的拟合程度很差。

【ML】欠拟合（underfitting）和 过拟合（overfitting）实践（基于sklearn）相关推荐

  1. 过拟合(Over-fitting) 和 欠拟合(Under-fitting)

    初学机器学习和深度学习的时候,我们常常会遇到 "过拟合" 和 ''欠拟合" 这两个看似不明所以的数学概念,今天我就专门讲一讲它们具体是怎么一回事. 拟合(fitting) ...

  2. 机器学习基石13：过拟合风险（Hazard of Overfitting）

    本文详细介绍了过拟合的概念,造成过拟合的原因以及过拟合的解决方案. 系列文章 机器学习基石01:机器学习简介 机器学习基石02:感知器算法(Perceptron Algorithm) 机器学习基石03 ...

  3. 什么是欠拟合现象_过拟合与欠拟合问题

    过拟合(overfitting)与欠拟合(underfitting)是统计学中的一组现象.过拟合是在统计模型中,由于使用的参数过多而导致模型对观测数据(训练数据)过度拟合,以至于用该模型来预测其他测试 ...

  4. 过拟合解决方法python_《python深度学习》笔记---4.4、过拟合与欠拟合（解决过拟合常见方法）...

    <python深度学习>笔记---4.4.过拟合与欠拟合(解决过拟合常见方法) 一.总结 一句话总结: 减小网络大小 添加权重正则化 添加 dropout 正则化 1.机器学习的根本问题? ...

  5. 神经网络怎么解决过拟合,解决神经网络过拟合

    如何防止神经网络过拟合,用什么方法可以防止? 你这个问题本来就问的很模糊,你是想问神经网络的过拟合变现什么样还是为什么出现过拟合呢. 为此针对于第一个问题,神经网络的过拟合与支持向量机.高斯混合模型等 ...

  6. matlab最小二乘法拟合参数,matlab最小二乘法拟合

    matlab最小二乘法拟合 数学建模与数学实验 拟 合 1 实验目的 实验内容 2. 掌握用数学软件求解拟合问题． 1. 直观了解拟合基本内容． 1. 拟合问题引例及基本原理． 4. 实验作业. 2. ...

  7. 防止过拟合以及解决过拟合

    本文转载:http://blog.sina.com.cn/s/blog_53c47a2f0102vjyf.html 过拟合:为了得到一致假设而使假设变得过度复杂称为过拟合."一个过拟合的模型 ...

  8. 机器学习--线性回归4（线性拟合、局部线性拟合实战）

    前面三节,我们从最简单的一元线性回归到多元线性回归,讨论了,损失函数到底由那几部分组成(这点我觉很重要,因为它不仅仅存在线性回归中还存在其他机器学习中,因此有必要搞明白他,有兴趣的请看这篇文章),后面 ...

  9. 多项式拟合缺点_多项式拟合

    在网上看别人的心得 一 最小二乘法的基本原理 从整体上考虑近似函数同所给数据点(i=0,1,-,m)误差(i=0,1,-,m)的大小,常用的方法有以下三种:一是误差(i=0,1,-,m)绝对值的最 ...

最新文章

  1. python多维字符数组_python多维数组内找指定字符串
  2. requestLayout 无效
  3. php.ini 文件织梦在哪,dedecms模板文件在哪
  4. ADAS实际已涵盖20多种功能
  5. Maven 的 Scope 区别，你知道吗？
  6. 树莓派云音乐c语言,基于树莓派的红外遥控版网易云音乐播放器
  7. BZOJ 3529: [Sdoi2014]数表
  8. JAVA——文档注释(javavdoc)通用注释-超链接@see与@link的使用
  9. cus.crm.notes.Component.extend(cus.crm.notes.ext.Component, {
  10. nssl1478-题【dp】
  11. 部门直推！百度大搜索招聘NLP、搜索方向算法工程师！
  12. python中classmethod与staticmethod的差异及应用
  13. android 页面整体滑动,ScrollView 实现页面整体滑动
  14. 参加2013中国大数据技术大会(BDTC2013)
  15. pygame-KidsCanCode系列jumpy-part15-PowerUp加速器
  16. 使用 ApplicationDomain 类
  17. webpack + react
  18. 盛京剑客系列17：市场暴跌下投资组合的调整
  19. ARM-LINUX平台下的文本文件打印机打印
  20. 模块七：mixer模块

热门文章

  1. 搜索引擎登录工具_安利一个号称使用高标准文件搜索引擎的工具
  2. postgres物理备份与恢复
  3. JS如何判断滚动条是否滚到底部
  4. Symfony 框架优势
  5. 1244：和为给定数
  6. 区块链：诞生于草根的时尚
  7. WordPress+BuddyPress注册页面404问题的解决
  8. 指令集创始人潘爱民博士荣获CSDN“2021年度IT领军人物”
  9. 24、新增商铺 - 小程序端开发 - 微擎小程序模块应用开发
  10. 01 数学软件与建模---基础