python线性回归算法简介_Python实现的简单线性回归算法实例分析

本文实例讲述了Python实现的简单线性回归算法。分享给大家供大家参考，具体如下：

用python实现R的线性模型(lm)中一元线性回归的简单方法，使用R的women示例数据，R的运行结果：

> summary(fit)

Call:

lm(formula = weight ~ height, data = women)

Residuals:

Min 1Q Median 3Q Max

-1.7333 -1.1333 -0.3833 0.7417 3.1167

Coefficients:

Estimate Std. Error t value Pr(>|t|)

(Intercept) -87.51667 5.93694 -14.74 1.71e-09 ***

height 3.45000 0.09114 37.85 1.09e-14 ***

---

Signif. codes: 0 ‘***' 0.001 ‘**' 0.01 ‘*' 0.05 ‘.' 0.1 ‘ ' 1

Residual standard error: 1.525 on 13 degrees of freedom

Multiple R-squared: 0.991, Adjusted R-squared: 0.9903

F-statistic: 1433 on 1 and 13 DF, p-value: 1.091e-14

python实现的功能包括：

计算pearson相关系数

使用最小二乘法计算回归系数

计算拟合优度判定系数R2R2

计算估计标准误差Se

计算显著性检验的F和P值

import numpy as np

import scipy.stats as ss

class Lm:

"""简单一元线性模型，计算回归系数、拟合优度的判定系数和

估计标准误差，显著性水平"""

def __init__(self, data_source, separator):

self.beta = np.matrix(np.zeros(2))

self.yhat = np.matrix(np.zeros(2))

self.r2 = 0.0

self.se = 0.0

self.f = 0.0

self.msr = 0.0

self.mse = 0.0

self.p = 0.0

data_mat = np.genfromtxt(data_source, delimiter=separator)

self.xarr = data_mat[:, :-1]

self.yarr = data_mat[:, -1]

self.ybar = np.mean(self.yarr)

self.dfd = len(self.yarr) - 2 # 自由度n-2

return

# 计算协方差

@staticmethod

def cov_custom(x, y):

result = sum((x - np.mean(x)) * (y - np.mean(y))) / (len(x) - 1)

return result

# 计算相关系数

@staticmethod

def corr_custom(x, y):

return Lm.cov_custom(x, y) / (np.std(x, ddof=1) * np.std(y, ddof=1))

# 计算回归系数

def simple_regression(self):

xmat = np.mat(self.xarr)

ymat = np.mat(self.yarr).T

xtx = xmat.T * xmat

if np.linalg.det(xtx) == 0.0:

print('Can not resolve the problem')

return

self.beta = np.linalg.solve(xtx, xmat.T * ymat) # xtx.I * (xmat.T * ymat)

self.yhat = (xmat * self.beta).flatten().A[0]

return

# 计算拟合优度的判定系数R方，即相关系数corr的平方

def r_square(self):

y = np.mat(self.yarr)

ybar = np.mean(y)

self.r2 = np.sum((self.yhat - ybar) ** 2) / np.sum((y.A - ybar) ** 2)

return

# 计算估计标准误差

def estimate_deviation(self):

y = np.array(self.yarr)

self.se = np.sqrt(np.sum((y - self.yhat) ** 2) / self.dfd)

return

# 显著性检验F

def sig_test(self):

ybar = np.mean(self.yarr)

self.msr = np.sum((self.yhat - ybar) ** 2)

self.mse = np.sum((self.yarr - self.yhat) ** 2) / self.dfd

self.f = self.msr / self.mse

self.p = ss.f.sf(self.f, 1, self.dfd)

return

def summary(self):

self.simple_regression()

corr_coe = Lm.corr_custom(self.xarr[:, -1], self.yarr)

self.r_square()

self.estimate_deviation()

self.sig_test()

print('The Pearson\'s correlation coefficient: %.3f' % corr_coe)

print('The Regression Coefficient: %s' % self.beta.flatten().A[0])

print('R square: %.3f' % self.r2)

print('The standard error of estimate: %.3f' % self.se)

print('F-statistic: %d on %s and %s DF, p-value: %.3e' % (self.f, 1, self.dfd, self.p))

python执行结果：

The Regression Coefficient: [-87.51666667 3.45 ]

R square: 0.991

The standard error of estimate: 1.525

F-statistic: 1433 on 1 and 13 DF, p-value: 1.091e-14

其中求回归系数时用矩阵转置求逆再用numpy内置的解线性方程组的方法是最快的：

a = np.mat(women.xarr); b = np.mat(women.yarr).T

timeit (a.I * b)

99.9 µs ± 941 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)

timeit ata.I * (a.T*b)

64.9 µs ± 717 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)

timeit np.linalg.solve(ata, a.T*b)

15.1 µs ± 126 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)

更多关于Python相关内容感兴趣的读者可查看本站专题：《Python数学运算技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》及《Python入门与进阶经典教程》

希望本文所述对大家Python程序设计有所帮助。

本文标题: Python实现的简单线性回归算法实例分析

本文地址: http://www.cppcns.com/jiaoben/python/248466.html

python线性回归算法简介_Python实现的简单线性回归算法实例分析相关推荐

python查询oracle数据库_python针对Oracle常见查询操作实例分析
本文实例讲述了python针对Oracle常见查询操作.分享给大家供大家参考,具体如下: 1.子查询(难): 当进行查询的时候,发现需要的数据信息不明确,需要先通过另一个查询得到, 此查询称为子查询: ...
python简单算法题_python几道简单的算法题
最近看了python的语法,但是总感觉不知道怎么使用它,还是先来敲敲一些简单的程序吧. 1.题目:有1.2.3.4个数字,能组成多少个互不相同且无重复数字的三位数?都是多少? 程序分析:可填在百位.十 ...
python比赛积分类算法题_python几道简单的算法题
最近看了python的语法,但是总感觉不知道怎么使用它,还是先来敲敲一些简单的程序吧. 1.题目:有1.2.3.4个数字,能组成多少个互不相同且无重复数字的三位数?都是多少? 程序分析:可填在百位.十 ...
python 随机数抽奖系统_python实现的简单抽奖系统实例
本文实例讲述了python实现的简单抽奖系统.分享给大家供大家参考.具体实现方法如下: #!/usr/bin/env python #coding=utf-8 from Tkinter import ...
python如何编程日期_python编程开发之日期操作实例分析
本文实例讲述了python编程开发之日期操作.分享给大家供大家参考,具体如下: 在python中对日期进行操作的库有: import datetime import time 对日期格式化信息,可以参 ...
AI：人工智能领域算法思维导图集合之有监督学习/无监督学习/强化学习类型的具体算法简介(预测函数/优化目标/求解算法)、分类/回归/聚类/降维算法模型选择思路、11类机器学习算法详细分类之详细攻略
AI:人工智能领域算法思维导图集合之有监督学习/无监督学习/强化学习类型的具体算法简介(预测函数/优化目标/求解算法).分类/回归/聚类/降维算法模型选择思路.11类机器学习算法详细分类(决策树/贝叶 ...
Python实现主成分分析（PCA）降维：原理及实例分析
转载文章:Python实现主成分分析(PCA)降维:原理及实例分析简介降维是由一些问题带来的: 可以缓解由维度诅咒(高维)带来的问题: 可以用来压缩数据,将损失数据最小化: 可以将高维数据降到低维 ...
python线性回归算法简介_Python机器学习（二）：线性回归算法
机器学习研究的问题分为分类问题和回归问题.分类问题很好理解,而回归问题就是找到一条曲线,可以最大程度地拟合样本特征和样本输出标记之间的关系.当给算法一个输入时,这条曲线可以计算出相应可能的输出.回归算 ...
python 线性回归函数_Python实现的简单线性回归算法实例分析
本文实例讲述了Python实现的简单线性回归算法.分享给大家供大家参考,具体如下: 用python实现R的线性模型(lm)中一元线性回归的简单方法,使用R的women示例数据,R的运行结果: > ...

python线性回归算法简介_Python实现的简单线性回归算法实例分析

python线性回归算法简介_Python实现的简单线性回归算法实例分析相关推荐

最新文章

热门文章