机器学习之--梯度下降和最小二乘法算线性回归

o1 = 0
o2 = 0
o3 = 0
a = 0.002
x = [1,3,5,3,5,7,2,6,7,3,6,9,4,8,9,6,5,3,3,2,7,1,1,1,2,2,2,3,3,3,4,4,4,5,5,5,6,6,6,7,7,7,8,8,8,9,9,9]   #生成训练数据
x = x * 250              #将训练数据扩大50倍
y = []
#生成训练数据的理论结果
for i in range(int(len(x)/3)):y.append(14*x[i] + 5*x[i+1] + 58*x[i+2])# print('y[{}]:{}'.format(i,y[i]))
#进行随机梯度下降 每用一行数据，就下降一次，需要样本足够且，a值合理
for i in range(len(y)):o1 = o1 - a * (o1 * x[i] + o2 * x[i+1] + o3 * x[i+2] - y[i]) * x[i]o2 = o2 - a * (o1 * x[i] + o2 * x[i+1] + o3 * x[i+2] - y[i]) * x[i+1]o3 = o3 - a * (o1 * x[i] + o2 * x[i+1] + o3 * x[i+2] - y[i]) * x[i+2]print(o1 * x[i] + o2 * x[i+1] + o3 * x[i+2],y[i])
print(o1,o2,o3)

结果：

转载于:https://www.cnblogs.com/cxhzy/p/10672676.html

机器学习之--梯度下降和最小二乘法算线性回归相关推荐

梯度下降法和Sklearn实现线性回归
1.线性回归模型线性回归 (linear regression)是-种线性模型, 它假设输入变量 x和单个输出变量 y 之间存在线性关系.具体来说,利用线性回归模型,可以从-组输入变量 x 的线性组 ...
《机器学习》梯度下降
<机器学习> 梯度下降 2012-09-21 17:46 2712人阅读评论(0) 收藏举报 matrixc 参照<机器学习>这本书的第4.4.3节. 一.解决目标及 ...
机器学习算法（优化）之一：梯度下降算法、随机梯度下降（应用于线性回归、Logistic回归等等）...
本文介绍了机器学习中基本的优化算法-梯度下降算法和随机梯度下降算法,以及实际应用到线性回归.Logistic回归.矩阵分解推荐算法等ML中. 梯度下降算法基本公式常见的符号说明和损失函数 X :所有 ...
Gradient Descen-univariate（吴恩达机器学习：梯度下降在线性模型的应用）
梯度下降算法在Linear Regression中的应用文章目录梯度下降算法在Linear Regression中的应用单变量(univariate) 题目:预测利润处理Training se ...
吴恩达机器学习笔记-梯度下降
通过前面的文章我们现在已经有了假设函数$h_\theta(x)$并知道如何度量这个函数与数据的符合程度,即代价函数$J(\theta_0,\theta_1)$取得最小值.那么现在要做的,就是如何去预估 ...
梯度下降原理及在线性回归、逻辑回归中的应用
1 基本概念 1)定义梯度下降法,就是利用负梯度方向来决定每次迭代的新的搜索方向,使得每次迭代能使待优化的目标函数逐步减小. 梯度下降法是2范数下的最速下降法. 最速下降法的一种简单形式是:x(k+ ...
【机器学习】梯度下降的Python实现
作者 | Vagif Aliyev 编译 | VK 来源 | Towards Data Science 梯度下降是数据科学的基础,无论是深度学习还是机器学习.对梯度下降原理的深入了解一定会对你今后的工 ...
机器学习(二)梯度下降
在上一节(线性回归)中介绍,在线性回归中参数值θ\thetaθ是不一定可以求出的,但是可以通过梯度下降的方式可求. 在微积分里面,对多元函数的参数求偏导数,把求得的各个参数的偏导数以向量的形式写出来, ...
机器学习中为什么需要梯度下降_机器学习 —— 多元梯度下降
一.多维特征前面所述的房价预测的线性模型,只用到了一维特征,即size,房屋尺寸,要用这个特征量来预测房屋价格: 当数据集的信息不止一种时,便有了多维特征,比如: 上图有四个X,即四个特征,来预测房 ...

机器学习之--梯度下降和最小二乘法算线性回归

机器学习之--梯度下降和最小二乘法算线性回归相关推荐

最新文章

热门文章