欢迎关注哈希大数据微信公众号【哈希大数据】

python实现多元线性回归算法(lr)

想必大家在很早之前就接触过函数的概念，即寻找自变量和因变量之间的对应关系，一元一次、多元一次、一元二次等等，表示的就是变量间具有线性、非线性，相关关系或无关关系等。

同样的在机器学习中，一个重要而且很常见的问题就是学习特征变量(自变量)与响应变量(因变量)之间的函数关系，进而对新出现的变量进行结果预测。

这种寻找连续变量与目标结果间关系的方式称之为回归，与上节分享的KNN实现的离散变量的分类，均属于机器学习有监督算法的核心功能，是实现预测的重要方式。

因此本节我们将重点介绍线性回归(Linear Regression)

01 线性回归和最小二乘法介绍

线性回归理论：

1.假设自变量X和因变量Y具有线性关系，要想预测新的y值，需要使用历史的Y与X训练数据，通过线性方程建立机器学习模型。

2.如果变量X只有一个为简单线性回归，有多个为多元线性回归。

3.机器学习模型假设为：Y=aX+b，b是噪音项，且服从独立同分布(IID)(概率统计基本理论，表明e在任何时刻的取值都为随机变量，不会影响y的预测结果)。

最小二乘法理论：

1.为了使预测更加准确，即机器学习得出的预测参数a和b要与实际情况尽可能相一致，因此在训练模型时要计算预测结果与实际结果的误差值大小：e=yi−(axi+b)，来判断模型是否精确，进而动态调整模型参数。

2.为使该误差最小将采用数学优化技术-最小二乘法，即通过最小化误差平方和

image

来获取变量的最佳匹配参数。(具体推导过程不再进行详细介绍，如果想了解可以私信为您解答)。也可以用其他优化技术如梯度下降法、牛顿插值法、区间二分法等进行模型训练。

线性回归算法优缺点：

优点： 实现简单，计算简单；

缺点： 非通用性算法，要求样本数据必须具有线性关系

02 波士顿房价数据集介绍

本次我们采用sklearn库中的波士顿房价数据集进行多元线性回归算法的实际应用，并且介绍数据的不同获取方式。

波士顿房价数据集包含506组数据，每条数据包含房屋以及房屋周围的详细信息，具体说明如下图。我们要通过机器学习得出自变量城镇犯罪率、一氧化氮浓度、住宅平均房间数等与自住房平均房价之间的线性关系等，进而实现对不同特征房屋的价格进行预测。

image

通过python加载波士顿数据集

利用pandas加载csv文件(可用csv方法获取列表形式数据)

import pandas as pdpd_house_price = pd.read_csv(r'D:\anaconda python\pkgs\scikit-learn-0.19.0-np113py36_0\Lib\site-packages\sklearn\datasets\data\boston_house_prices.csv')

利用mglearn库(集成了sklearn和数据的许多操作方法，很便捷)获取对应数据。

import mglearnhouse_price_X, house_price_y = mglearn.datasets.load_extended_boston()

直接使用sklearn库中datasites

from sklearn import datasetsboston_house_price = datasets.load_boston()

#拆分****数据集****为训练数据和测试数据：

house_price_train_X , house_price_test_X, house_price_train_y ,house_price_test_y = train_test_split(house_price_X, house_price_y, test_size=0.1,random_state=0)

03 Linear Regression算法python实现

算法初始化并且训练数据模型

from sklearn.linear_model import LinearRegression

lr = LinearRegression().fit(house_price_train_X ,house_price_train_y)

获取测试集房价的预测结果

predict_result = lr.predict(house_price_test_X)

print(predict_result)

计算预测结果的准确率

print('预测准确率：',lr.score(house_price_test_X, house_price_test_y))

'预测准确率'：0.471389205128

'预测准确率'：0.471389205128

从预测准确率我们可以看出直接使用多元线性回归对房价预测效果是很差的，这是在特征选取中未筛选无关特征变量，因此下一讲我们将采用其他线性回归模型Ridge回归和Lasso回归等对模型进行优化处理。

PS：本节完整源码请关注微信公众号《哈希大数据》，回复关键字‘lr’获取。