使用最小二乘法计算机器学习算法之线性回归（计算过程与python实现）

1.相关概念

1.1 线性回归：

线性回归模型是一种线性模型，是为了计算输入变量x与多个输出变量之间的关系。
求得一条直线：

更一般可表达为：

1.2 最小二乘法：

基于L2范数（均方误差）最小化进行模型求解的方法。

2.计算过程

假设输入特征的值只有一个：

在线性回归中，最小二乘法就是找到一条直线，使所有样本到这条直线的距离之和最小。

求解!w和b，使得

最小的过程，就是“最小二乘参数估计”。
将E_(w,b)分别对w和b求导，可以得到：

令偏导数为0，可以得到：其中，

3.代码实现

3.0 引入依赖

import numpy as np
import matplotlib.pyplot as plt

3.1 导入数据（data.csv）

points = np.genfromtxt('data.csv', delimiter=',')points[0,0]# 提取points中的两列数据，分别作为x，y
x = points[:, 0]
y = points[:, 1]# 用plt画出散点图
plt.scatter(x, y)
plt.show()

3.3 定义损失函数

# 损失函数是系数的函数，另外还要传入数据的x，y
def compute_cost(w, b, points):total_cost = 0M = len(points)# 逐点计算平方损失误差，然后求平均数for i in range(M):x = points[i, 0]y = points[i, 1]total_cost += ( y - w * x - b ) ** 2return total_cost/M

3.4 定义算法拟合函数

# 先定义一个求均值的函数
def average(data):sum = 0num = len(data)for i in range(num):sum += data[i]return sum/num# 定义核心拟合函数
def fit(points):M = len(points)x_bar = average(points[:, 0])sum_yx = 0sum_x2 = 0sum_delta = 0for i in range(M):x = points[i, 0]y = points[i, 1]sum_yx += y * ( x - x_bar )sum_x2 += x ** 2# 根据公式计算ww = sum_yx / ( sum_x2 - M * (x_bar**2) )for i in range(M):x = points[i, 0]y = points[i, 1]sum_delta += ( y - w * x )b = sum_delta / Mreturn w, b

3.5 测试

w, b = fit(points)print("w is: ", w)
print("b is: ", b)cost = compute_cost(w, b, points)print("cost is: ", cost)

w is: 1.3224310227553846
b is: 7.991020982269173
cost is: 110.25738346621313

3.6 画出拟合曲线

plt.scatter(x, y)
# 针对每一个x，计算出预测的y值
pred_y = w * x + bplt.plot(x, pred_y, c='r')
plt.show()

使用最小二乘法计算机器学习算法之线性回归（计算过程与python实现）相关推荐

ML：从0到1 机器学习算法思路实现全部过程最强攻略
ML:从0到1 机器学习算法思路实现全部过程最强攻略目录思维导图设计思路思维导图设计思路相关文章 ML之FE:结合Kaggle比赛的某一案例细究Feature Engineering思路框 ...
机器学习算法之线性回归
一.什么是回归算法回归算法是一种有监督算法回归算法是一种比较常用的机器学习算法,用来建立"解释"变量(自变量X)和观测值(因变量Y)之间的关系:从机器学习的角度来讲,用于构建一 ...
机器学习线性回归算法_探索机器学习算法简单线性回归
机器学习线性回归算法 As we dive into the world of Machine Learning and Data Science, one of the easiest and f ...
dna计算机量子计算,量子算法、DNA计算与后经典计算时代
原标题:量子算法.DNA计算与后经典计算时代资本实验室·今日创新观察聚焦前沿科技创新与传统产业升级二进制与伟大的计算机相结合,推动人类进入了信息化时代.在这个基于物质世界的,由0和1构成的新世界 ...
如何用机器学习算法来进行电影分类?(含Python代码)
电影分析--K近邻算法周末,小迪与女朋友小西走出电影院,回味着刚刚看过的电影. 小迪:刚刚的电影很精彩,打斗场景非常真实,又是一部优秀的动作片! 小西:是吗?我怎么感觉这是一部爱情片呢?真心被男主女 ...
机器学习算法1_线性回归
通俗描述线性回归模型是利用线性函数对一个或多个自变量和因变量(y)(y)(y)之间关系进行拟合的模型. 公式推导数据输入给定数据集D={(x1,y1),(x2,y2),-,(xm,ym)},yi ...
机器学习算法总结--线性回归和逻辑回归
1. 线性回归简述在统计学中,线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析.这种函数是一个或多个称为回 ...
机器学习算法之——线性回归
线性回归是最简单的机器学习模型,其形式简单,易于实现,以下是它的2种原生实现方式及通过sklearn库实现方式,供比较. 线性回归模型假设函数: ...
机器学习算法基础——线性回归
39.线性回归的定义以及矩阵的运算回归--目标值连续线性模型试图学得一个通过属性的线性组合来进行预测的函数: f(x)=w1x1+w2x2+-+wdxd+b w为权重,b称为偏置项,可以理解为: ...
机器学习算法_五分钟了解机器学习十大算法
本文为有志于成为数据科学家或对此感兴趣的读者们介绍最流行的机器学习算法. 机器学习是该行业的一个创新且重要的领域.我们为机器学习程序选择的算法类型,取决于我们想要实现的目标. 现在,机器学习有很多算法 ...