波士顿房价预测，手写梯度下降，python实现

数据集介绍

每条数据包含房屋以及房屋周围的详细信息。其中包含城镇犯罪率，一氧化氮浓度，住宅平均房间数，到中心区域的加权距离以及自住房平均房价等等。

CRIM：城镇人均犯罪率。

ZN：住宅用地超过 25000 sq.ft. 的比例。

INDUS：城镇非零售商用土地的比例。

CHAS：查理斯河空变量（如果边界是河流，则为1；否则为0）。

NOX：一氧化氮浓度。

RM：住宅平均房间数。

AGE：1940 年之前建成的自用房屋比例。

DIS：到波士顿五个中心区域的加权距离。

RAD：辐射性公路的接近指数。

TAX：每 10000 美元的全值财产税率。

PTRATIO：城镇师生比例。

B：1000（Bk-0.63）^ 2，其中 Bk 指代城镇中黑人的比例。

LSTAT：人口中地位低下者的比例。

MEDV：自住房的平均房价，以千美元计。

预测平均值的基准性能的均方根误差（RMSE）是约 9.21 千美元。

代码

# 导入数据处理库
import numpy as np
import pandas as pd
from matplotlib import font_manager as fm, rcParams
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn import datasets

数据处理

# 导入数据
path = '../Data/housing.csv'
data = pd.read_csv(path)

# 特征缩放 （x-平均值）/标准差
data = (data - data.mean())/data.std()
# 查看特征缩放后的数据
data.head(10)

# 绘制数据散点图
data.plot(kind = 'scatter', x = 'CRIM', y = 'MEDV')
data.plot(kind = 'scatter', x = 'ZN', y = 'MEDV')
data.plot(kind = 'scatter', x = 'INDUS', y = 'MEDV')
data.plot(kind = 'scatter', x = 'CHAS', y = 'MEDV')
data.plot(kind = 'scatter', x = 'NOX', y = 'MEDV')
data.plot(kind = 'scatter', x = 'RM', y = 'MEDV')
data.plot(kind = 'scatter', x = 'AGE', y = 'MEDV')
data.plot(kind = 'scatter', x = 'DIS', y = 'MEDV')
data.plot(kind = 'scatter', x = 'RAD', y = 'MEDV')
data.plot(kind = 'scatter', x = 'TAX', y = 'MEDV')
data.plot(kind = 'scatter', x = 'PTRATIO', y = 'MEDV')
data.plot(kind = 'scatter', x = 'B', y = 'MEDV')
data.plot(kind = 'scatter', x = 'LSTAT', y = 'MEDV')

# 变量初始化
# 最后一列为y，其余为x
cols = data.shape[1] #列数 shape[0]行数 [1]列数
X = data.iloc[:,0:cols-1]       #取前cols-1列，即输入向量
y = data.iloc[:,cols-1:cols]    #取最后一列，即目标变量
X.head(10)

# 划分训练集和测试集
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.2)

# 将数据转换成numpy矩阵
X_train = np.matrix(X_train.values)
y_train = np.matrix(y_train.values)
X_test = np.matrix(X_test.values)
y_test = np.matrix(y_test.values)
# 初始化theta矩阵
theta = np.matrix([0,0,0,0,0,0,0,0,0,0,0,0,0,0])
X_train.shape,X_test.shape,y_train.shape,y_test.shape

((404, 13), (102, 13), (404, 1), (102, 1))

#添加偏置列，值为1，axis = 1 添加列
X_train = np.insert(X_train, 0, 1, axis=1)
X_test = np.insert(X_test,0,1,axis=1)
X_train.shape,X_test.shape,y_train.shape,y_test.shape

((404, 14), (102, 14), (404, 1), (102, 1))

# 代价函数
def CostFunction(X,y,theta):inner = np.power(X*theta.T-y, 2)return np.sum(inner)/(2*len(X))

# 正则化代价函数
def regularizedcost(X,y,theta,l):reg = (l/(2*len(X)))*(np.power(theta, 2).sum())    return CostFunction(X,y,theta) + reg

# 梯度下降
def GradientDescent(X,y,theta,l,alpha,epoch):temp = np.matrix(np.zeros(np.shape(theta)))   # 定义临时矩阵存储tehtaparameters = int(theta.flatten().shape[1])    # 参数 θ的数量cost = np.zeros(epoch)  # 初始化一个ndarray，包含每次epoch的costm = X.shape[0]  # 样本数量mfor i in range(epoch):# 利用向量化一步求解temp = theta - (alpha / m) * (X * theta.T - y).T * X - (alpha*l/m)*theta     # 添加了正则项theta = tempcost[i] = regularizedcost(X, y, theta, l)      # 记录每次迭代后的代价函数值return theta,cost

alpha = 0.01  #学习速率
epoch = 1000  #迭代步数
l = 50      #正则化参数

#运行梯度下降算法 并得出最终拟合的theta值 代价函数J(theta)
final_theta, cost = GradientDescent(X_train, y_train, theta, l, alpha, epoch)
print(final_theta)

[[-0.00034606 -0.07371485  0.08904682 -0.03193276  0.08014694 -0.124664280.30912387 -0.02968011 -0.20608371  0.08534093 -0.07778207 -0.200410930.07235449 -0.31268358]]

# 模型评估
y_hat_train = X_train * final_theta.T
y_hat_test = X_test * final_theta.T
mse = np.sum(np.power(y_hat_test-y_test,2))/(len(X_test))
rmse = np.sqrt(mse)
R2_train = 1 - np.sum(np.power(y_hat_train - y_train,2))/np.sum(np.power(np.mean(y_train) - y_train,2))
R2_test = 1 - np.sum(np.power(y_hat_test - y_test,2))/np.sum(np.power(np.mean(y_test) - y_test,2))
print('MSE = ', mse)
print('RMSE = ', rmse)
print('R2_train = ', R2_train)
print('R2_test = ', R2_test)

MSE =  0.3466540768960382
RMSE =  0.5887733663270089
R2_train =  0.738744369506042
R2_test =  0.6644595541385632

# 绘制迭代曲线
fig, ax = plt.subplots(figsize=(8,4))
ax.plot(np.arange(epoch), cost, 'r')  # np.arange()返回等差数组
ax.set_xlabel('Iterations')
ax.set_ylabel('Cost')
ax.set_title('Error vs. Training Epoch')
plt.show()

# 图例展示预测值与真实值的变化趋势
plt.rcParams['font.sans-serif']=['SimHei'] #显示中文标签
plt.rcParams['axes.unicode_minus']=False
plt.figure(facecolor='w')
t = np.arange(len(X_test))  #创建等差数组
plt.plot(t, y_test, 'r-', linewidth=2, label=u'真实数据')
plt.plot(t, y_hat_test, 'b-', linewidth=2, label=u'预测数据')
plt.legend(loc='upper right')
plt.title(u'线性回归预测房价', fontsize=18)
plt.grid(b=True, linestyle='--')

机器学习线性回归实践，波士顿房价预测，手写梯度下降相关推荐

python数据分析项目实战波士顿房价预测——手写梯度下降法
导入所需要的库 import numpy as np import pandas as pd from matplotlib import font_manager as fm, rcParams i ...
机器学习项目实践——波士顿房价预测
基于线性回归预测波士顿房价摘要:分类和回归属于机器学习领域有监督学习算法的两种方法,有监督学习是通过已有的训练样本去训练得到一个模型,再使用这个模型将所有的输入映射到相应的输出,若输出结果是离散型称 ...
scikit-learn线性回归实践 - 波斯顿房价预测
Educoder实训平台机器学习-线性回归:scikit-learn线性回归实践 - 波斯顿房价预测 (下方代码已成功通过平台测试) 文章目录机器学习:波士顿房价数据集任务描述相关知识 Line ...
使用线性回归实现波士顿房价预测
使用线性回归实现波士顿房价预测本文不进行线性回归基础知识讲解,只提供三种方法对波士顿房价进行预测,这三种方法分别是: 1.使用正规方程的优化方法对波士顿房价进行预测 2.使用梯度下降的优化方法对波士 ...
机器学习入门实战---波士顿房价预测
波士顿房价预测波士顿房价数据集介绍波士顿房价数据说明:此数据源于美国某经济学杂志上,分析研究波士顿房价( Boston HousePrice)的数据集.数据集中的每一行数据都是对波士顿周边或城镇房 ...
机器学习线性回归实践，广告投放收益预测，手写梯度下降
机器学习线性回归模型,广告投放与收益预测,梯度下降法python实现数据集介绍代码数据导入特征缩放绘制三个不同地方广告投入与收益的散点图数据处理添加偏置列定义代价函数梯度下降初始化 ...
机器学习(三)：基于线性回归对波士顿房价预测
文章目录专栏导读 1.线性回归原理 2.实战案例 2.1数据说明 2.2导入必要的库并加载数据集 2.3划分训练集和测试集 2.4创建线性回归模型 2.5模型预测评价专栏导读 ✍ 作者简介:i阿极 ...
基于线性回归的波士顿房价预测
折线图代码 #-*-coding:utf-8-*- import pandas as pd import numpy as np import matplotlib.pyplot as plt #加载 ...
人工智能与大数据—线性回归之波士顿房价预测
一,首先导入必要的包 1,paddle.fluid--->PaddlePaddle深度学习框架 2,numpy---------->python基本库,用于科学计算 3,os------- ...

机器学习线性回归实践，波士顿房价预测，手写梯度下降

波士顿房价预测，手写梯度下降，python实现

数据集介绍

代码

数据处理

机器学习线性回归实践，波士顿房价预测，手写梯度下降相关推荐

最新文章

热门文章