机器学习-分类算法-线性回归、梯度下降，过拟合欠拟合，岭回归11

梯度下降重点

正规方程去进行房价预测

from sklearn.datasets import load_boston
from sklearn.linear_model import LinearRegression,SGDRegressor
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScalerdef mylinear():"""线性回归直接预测房子价格:return: """# 获取数据lb = load_boston()# 分割数据到训练集和测试集x_train,x_test,y_train,y_test = train_test_split(lb.data,lb.target,test_size=0.25)print(y_train,x_test)# 进行标准化处理# 特征值和目标值都必须进行标准化处理（实例化2个标准化API）# 特征值标准化处理std_x = StandardScaler()x_train = std_x.fit_transform(x_train)x_test = std_x.transform(x_test)# 目标值标准化处理std_y = StandardScaler()y_train = std_y.fit_transform(y_train.reshape(-1,1)) # 要求数据必须是二维我们需要使用reshape(-1,1)进行转换y_test = std_y.transform(y_test.reshape(-1,1))# estimator预测# 正规方程求解预测结果lr = LinearRegression()lr.fit(x_train,y_train)print(lr.coef_)# 预测测试集的房子价格y_predict = lr.predict(x_test)y_predict = std_y.inverse_transform(y_predict)# 将降维后的数据转换成原始数据print("测试集里面每个房子的预测价格:",y_predict)return Noneif __name__=="__main__":mylinear()

使用梯度下降去进行房价预测

from sklearn.datasets import load_boston
from sklearn.linear_model import LinearRegression,SGDRegressor
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScalerdef mylinear():"""线性回归直接预测房子价格:return: """# 获取数据lb = load_boston()# 分割数据到训练集和测试集x_train,x_test,y_train,y_test = train_test_split(lb.data,lb.target,test_size=0.25)print(y_train,x_test)# 进行标准化处理# 特征值和目标值都必须进行标准化处理（实例化2个标准化API）# 特征值标准化处理std_x = StandardScaler()x_train = std_x.fit_transform(x_train)x_test = std_x.transform(x_test)# 目标值标准化处理std_y = StandardScaler()y_train = std_y.fit_transform(y_train.reshape(-1,1)) # 要求数据必须是二维我们需要使用reshape(-1,1)进行转换y_test = std_y.transform(y_test.reshape(-1,1))# estimator预测# # 正规方程求解预测结果# lr = LinearRegression()# lr.fit(x_train,y_train)# print(lr.coef_)## # 预测测试集的房子价格# y_predict = lr.predict(x_test)# y_predict = std_y.inverse_transform(y_predict)# 将降维后的数据转换成原始数据# print("测试集里面每个房子的预测价格:",y_predict)# 使用梯度下降去进行房价预测sgd = SGDRegressor()sgd.fit(x_train,y_train)print(sgd.coef_)# 预测测试集的房子价格y_predict = sgd.predict(x_test)y_predict = std_y.inverse_transform(y_predict)# 将降维后的数据转换成原始数据print("测试集里面每个房子的预测价格:",y_predict)return Noneif __name__=="__main__":mylinear()

from sklearn.datasets import load_boston
from sklearn.linear_model import LinearRegression,SGDRegressor
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import mean_squared_errordef mylinear():"""线性回归直接预测房子价格:return: """# 获取数据lb = load_boston()# 分割数据到训练集和测试集x_train,x_test,y_train,y_test = train_test_split(lb.data,lb.target,test_size=0.25)print(y_train,x_test)# 进行标准化处理# 特征值和目标值都必须进行标准化处理（实例化2个标准化API）# 特征值标准化处理std_x = StandardScaler()x_train = std_x.fit_transform(x_train)x_test = std_x.transform(x_test)# 目标值标准化处理std_y = StandardScaler()y_train = std_y.fit_transform(y_train.reshape(-1,1)) # 要求数据必须是二维我们需要使用reshape(-1,1)进行转换y_test = std_y.transform(y_test.reshape(-1,1))# estimator预测# 正规方程求解预测结果lr = LinearRegression()lr.fit(x_train,y_train)print(lr.coef_)# 预测测试集的房子价格y_lr_predict = lr.predict(x_test)y_lr_predict = std_y.inverse_transform(y_lr_predict)# 将降维后的数据转换成原始数据print("正规方程测试集里面每个房子的预测价格:",y_lr_predict)print("正规方程的均方误差:",mean_squared_error(std_y.inverse_transform(y_test),y_lr_predict))# 使用梯度下降去进行房价预测sgd = SGDRegressor()sgd.fit(x_train,y_train)print(sgd.coef_)# 预测测试集的房子价格y_sgd_predict = sgd.predict(x_test)y_sgd_predict = std_y.inverse_transform(y_sgd_predict)# 将降维后的数据转换成原始数据print("梯度下降测试集里面每个房子的预测价格:",y_sgd_predict)print("梯度下降程的均方误差:",mean_squared_error(std_y.inverse_transform(y_test),y_sgd_predict))return Noneif __name__=="__main__":mylinear()

过拟合和欠拟合

岭回归去进行房价预测

from sklearn.datasets import load_boston
from sklearn.linear_model import LinearRegression,SGDRegressor,Ridge
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import mean_squared_errordef mylinear():"""线性回归直接预测房子价格:return: """# 获取数据lb = load_boston()# 分割数据到训练集和测试集x_train,x_test,y_train,y_test = train_test_split(lb.data,lb.target,test_size=0.25)print(y_train,x_test)# 进行标准化处理# 特征值和目标值都必须进行标准化处理（实例化2个标准化API）# 特征值标准化处理std_x = StandardScaler()x_train = std_x.fit_transform(x_train)x_test = std_x.transform(x_test)# 目标值标准化处理std_y = StandardScaler()y_train = std_y.fit_transform(y_train.reshape(-1,1)) # 要求数据必须是二维我们需要使用reshape(-1,1)进行转换y_test = std_y.transform(y_test.reshape(-1,1))# estimator预测# 正规方程求解预测结果lr = LinearRegression()lr.fit(x_train,y_train)print(lr.coef_)# 预测测试集的房子价格y_lr_predict = lr.predict(x_test)y_lr_predict = std_y.inverse_transform(y_lr_predict)# 将降维后的数据转换成原始数据print("正规方程测试集里面每个房子的预测价格:",y_lr_predict)print("正规方程的均方误差:",mean_squared_error(std_y.inverse_transform(y_test),y_lr_predict))# 使用梯度下降去进行房价预测sgd = SGDRegressor()sgd.fit(x_train,y_train)print(sgd.coef_)# 预测测试集的房子价格y_sgd_predict = sgd.predict(x_test)y_sgd_predict = std_y.inverse_transform(y_sgd_predict)# 将降维后的数据转换成原始数据print("梯度下降测试集里面每个房子的预测价格:",y_sgd_predict)print("梯度下降程的均方误差:",mean_squared_error(std_y.inverse_transform(y_test),y_sgd_predict))# 使用岭回归去进行房价预测rd = Ridge(alpha=1.0)rd.fit(x_train,y_train)print(rd.coef_)# 预测测试集的房子价格y_rd_predict = rd.predict(x_test)y_rd_predict = std_y.inverse_transform(y_rd_predict)# 将降维后的数据转换成原始数据print("岭回归测试集里面每个房子的预测价格:",y_rd_predict)print("岭回归的均方误差:",mean_squared_error(std_y.inverse_transform(y_test),y_rd_predict))return Noneif __name__=="__main__":mylinear()

机器学习-分类算法-线性回归、梯度下降，过拟合欠拟合，岭回归11相关推荐

机器学习优化算法中梯度下降,牛顿法和拟牛顿法的优缺点详细介绍
1.梯度下降法梯度下降法实现简单,当目标函数是凸函数时,梯度下降法的解是全局解.一般情况下,其解不保证是全局最优解,梯度下降法的速度也未必是最快的. 梯度下降法的优化思想:用当前位置负梯度方向作为搜 ...
【python机器学习】线性回归--梯度下降实现（基于波士顿房价数据集）
波士顿房价数据集字段说明 crim 房屋所在镇的犯罪率 zn 面积大于25000平凡英尺住宅所占比例 indus 房屋所在镇非零售区域所占比例 chas 房屋是否位于河边如果在河边,值1 nox 一 ...
大数据机器学习分类算法_13种用于数据科学的机器学习分类算法及其代码
大数据机器学习分类算法 The roundup of most common classification algorithms along with their python and r cod ...
来!一起捋一捋机器学习分类算法
点击上方"AI遇见机器学习",选择"星标"公众号重磅干货,第一时间送达来自:算法与数学之美可是,你能够如数家珍地说出所有常用的分类算法,以及他们的特征.优 ...
[转载] python机器学习第三章：使用scikit-learn实现机器学习分类算法
参考链接: 使用Scikit-Learn在Python中进行embedding/投票分类训练机器学习算法所涉及的五个主要步骤可以概述如下: 1.特征的选择 2.确定性能评价标准 3.选择分类器及其优 ...
机器学习（3）——梯度下降
例子假设: 我们有一个代价函数,我们想要获得最小值. 首先定义两个参数值为0,然后改变两个参数值取减少代价函数的值在梯度算法中,想象自己在红色山顶(最高处),每走一步想下降速度最快的地方移动,然后 ...
机器学习分类算法（附图文详解）
说起分类算法,相信学过机器学习的同学都能侃上一二. 可是,你能够如数家珍地说出所有常用的分类算法,以及他们的特征.优缺点吗?比如说,你可以快速地回答下面的问题么: KNN算法的优缺点是什么? Naiv ...
15分钟带你入门sklearn与机器学习——分类算法篇
作者 | 何从庆本文转载自AI算法之心(ID:AIHeartForYou) [导读]众所周知,Scikit-learn(以前称为scikits.learn)是一个用于Python编程语言的免费软件机 ...
常见优化算法批量梯度下降、小批量梯度下降、随机梯度下降的对比
在机器学习领域中,梯度下降的方式有三种,分别是:批量梯度下降法BGD.随机梯度下降法SGD.小批量梯度下降法MBGD,并且都有不同的优缺点. 下面我们以线性回归算法(也可以是别的算法,只是损失函数(目 ...

机器学习-分类算法-线性回归、梯度下降，过拟合欠拟合，岭回归11

正规方程去进行房价预测

使用梯度下降去进行房价预测

过拟合和欠拟合

岭回归去进行房价预测

机器学习-分类算法-线性回归、梯度下降，过拟合欠拟合，岭回归11相关推荐

最新文章

热门文章