线性回归实现

y=ax+by = ax + by=ax+b

x,y 是向量，a，b是标量

梯度下降法:

a=a−α∂cost∂aa = a - \alpha \frac{\partial cost}{\partial a}a=a−α∂a∂cost

cost=12m∑i=1m(yi−y‘i)2cost= \frac{1}{2m}\sum^m_{i=1}(y_i - y`_i)^2cost=2m1i=1∑m(yi−y‘i)2

cost ：代价函数

实验数据：

实现结果：

算法流程：

代码实现：

import pandas as pd
import matplotlib.pyplot as plt
import numpy as np# 线性回归实现 梯度下降方法
# y = ax + b
# a, b 是标量
# x, y 是向量# 模型 y = ax + b, 需要训练出 a 和 b 的值
def model(a, b, x):# numpy的广播特征# print(a, b, x)ret = a*x+b# print("ret :  ", ret)# ret = [a*i+b for i in x]# print(ret)return ret# 代价|损失函数
def cost_function(a, b, x, y, n=5):# 1/(2n) * sum( square(yi -yi`) )return 0.5 / n * (np.square(y - a * x - b)).sum()# 梯度下降方法 对a,b进行优化
def optimize(a, b, x, y, n=5):# a = a-alpha*(损失函数对a求偏导)alpha = 1e-1y_hat = model(a, b, x)da_t = y_hat - yda = (1.0 / n) * ((y_hat - y) * x).sum()db = (1.0 / n) * (y_hat - y).sum()a = a - alpha * dab = b - alpha * dbreturn a, b# 使用x, y 向量训练出 a, b两个标量
def train(x, y, cost=10000):# 初始化 a=b=0a = b = 0.0# 进入循环 直到到达循环结束条件# 循环结束条件：损失函数最小值   #这儿我是用控制循环次数来结束循环while True:# 优化方法 使用梯度下降的算法，对a,b进行优化a, b=optimize(a, b, x, y)cost = cost - 1if cost == 0:breakreturn a, bif __name__ == "__main__":# 数据提取 使用pandas# ds 的类型：<class 'pandas.core.frame.DataFrame'>ds = pd.read_csv("LinearRegression.csv")print(type(np.array(ds.iloc[:, [1]])),np.array(ds.iloc[:, [1]]))# 将数据变成一维# np.array(ds.iloc[:, [1]])# 将 <class 'pandas.core.frame.DataFrame'> 转换为 <class 'numpy.ndarray'># narray.reshape(-1) 将 numpy.narray 的多维转换为一维x = np.array(ds.iloc[:, [1]]).reshape(-1)print(type(x), x)y = np.array(ds.iloc[:, [2]]).reshape(-1)# x = [float(i) for i in x]# y = [float(i) for i in y]# print(type(np.array(ds.iloc[:, [1]]).reshape(-1)),np.array(ds.iloc[:, [1]]).reshape(-1) )# print(type(x), x)# print(type(y), y)# 使用 6 张图片显示count = 1for i in range(1, 7):plt.subplot(3, 2, i)a, b = train(x, y, count)plt.plot(x, y, "bo")plt.plot(x, model(a, b, x))count = count * 3plt.show()

线性回归实现——梯度下降相关推荐

机器学习01-定义、线性回归、梯度下降
目录一.定义 What is Machine Learning 二.建模 Model Representation 三.一元线性回归 Linear Regression with One Varia ...
机器学习第4天：线性回归及梯度下降
文章目录一.简单线性回归(即一元线性回归) 二.代价函数数学表达式: 代码实现: 实例说明三.梯度下降数学表达式: 具体方法代码实现: 代价随迭代次数的变化一.简单线性回归(即一元线性回归 ...
【机器学习基础】线性回归和梯度下降的初学者教程
作者 | Lily Chen 编译 | VK 来源 | Towards Data Science 假设我们有一个虚拟的数据集,一对变量,一个母亲和她女儿的身高: 考虑到另一位母亲的身高为63,我们如何 ...
梯度下降的线性回归用python_一元线性回归和梯度下降的python代码实现
一元线性回归和梯度下降的python代码实现 2020-08-05 23:49 阅读数 9 import numpy as np import matplotlib.pyplot as plt imp ...
为什么回归直线过平均值点_线性回归和梯度下降的初学者教程
假设有一个虚拟的数据集包含多对变量,即每位母亲和她女儿的身高: 通过这个数据集,我们如何预测另一位身高为63的母亲的女儿的身高? 方法是用线性回归. 首先找到最佳拟合线,然后用这条直线做预测. 线性回 ...
用懊悔法学习吴恩达机器学习【2】-----线性回归的梯度下降
以下英文文档皆出自课程配套笔记课9 代价函数二这一课时考虑使用两个参数来描述代价函数.此时等价函数是一个碗形,碗底点为最小值,将碗形用等高线表示,等高线中心就是代价函数的最小值.所以距离等高线中心 ...
线性回归（梯度下降）2021-04-16
线性回归(+gradient desent) 线性回归基本思想 1,线性回归 1.1线性回归概念 1.2 回归参数的求解方法 1.21 最小二乘法(least square method 2.211 ...
吴恩达机器学习（六）线性回归的梯度下降
文章目录 1.先导知识 2.线性回归的梯度下降 1.先导知识之前学习的内容: 2.线性回归的梯度下降我们要做的是将梯度下降法应用到最小化平方差代价函数, 我们解决过的梯度下降问题之一就是它容易陷入 ...
线性回归随机梯度下降_线性回归的批次梯度与随机梯度下降
线性回归随机梯度下降 In this article, we will introduce about batch gradient and stochastic gradient descent m ...

线性回归实现——梯度下降

文章目录

线性回归实现

实验数据：

实现结果：

算法流程：

代码实现：

线性回归实现——梯度下降相关推荐

最新文章

热门文章