matlab用梯度下降拟合回归直线

看了神经网络的梯度下降(Gradient Descent）逼近的方法之后就写了一个拟合散点（y= kx+b）的程序，原理是使方差最小（对拟合直线来说这样的算法肯定不算是好算法）。

x=(1:10)';
y=[2;3;3;4;5;6;4;6;6;7];

拟合这样一组散点，并且将拟合结果和polyfit函数的结果进行对比。顺便画出了cost函数随迭代次数变化的曲线

x=(1:10)';
y=[2;3;3;4;5;6;4;6;6;7];
k=rand(1);
b=0; %初始化k，b
m=length(x);
learningrate=0.05;
costs=[];
for l=1:500yhat=k*x+b;%相当于正向传播cost=1/m*sum(1/2*(y-yhat).^2);costs=[costs,cost];dk=-1/m*x'*(y-yhat);db=-1/m*sum(y-yhat);%求梯度k=k-learningrate*dk;b=b-learningrate*db;%更新参数endsubplot(2,1,1);scatter(x,y);hold on;plot(x,k*x+b);
p=polyfit(x,y,1);
plot(x,polyval(p,x));
subplot(2,1,2);
plot(costs);

迭代500次，步长0.05，得到k=0.4983，b=1.8571
polyfit拟合的结果是0.496969696969697 1.86666666666667
两条曲线直线画在一个坐标轴基本重合，看到cost函数也下降的很快。当迭代次数为1500时，k=0.496969731305184，b=1.866666427629106。

在三维坐标轴中将k，b，cost画出来能直观看见梯度下降的过程。循环中添加以下代码

    axis([0,1.5,0,2,0,.6]);%固定坐标轴scatter3(k,b,cost,'r','*');hold on ;drawnow;pause(0.02);

matlab用梯度下降拟合回归直线相关推荐

R语言使用lm函数构建简单线性回归模型（建立线性回归模型）、拟合回归直线、使用attributes函数查看线性回归模型的属性信息、获取模型拟合对应的残差值residuals
R语言使用lm函数构建简单线性回归模型(建立线性回归模型).拟合回归直线.使用attributes函数查看线性回归模型的属性信息.获取模型拟合对应的残差值residuals 目录
R语言使用lm函数构建简单线性回归模型（建立线性回归模型）、拟合回归直线、可视化散点图并添加简单线性回归直线、添加模型拟合值数据点、添加拟合值点和实际数据点之间的线段表示残差大小、col参数自定义设置
R语言使用lm函数构建简单线性回归模型(建立线性回归模型).拟合回归直线.可视化散点图并添加简单线性回归直线.添加模型拟合值数据点.添加拟合
R语言使用lm函数构建简单线性回归模型（建立线性回归模型）、拟合回归直线、使用residuls函数从模型中提取每个样本点的残差值、可视化残差与拟合值之间的散点图来看残差的分布模式
R语言使用lm函数构建简单线性回归模型(建立线性回归模型).拟合回归直线.使用residuls函数从模型中提取每个样本点的残差值.可视化残差与拟合值之间的散点图来看残差的分布模式目录
R语言使用lm函数构建简单线性回归模型（建立线性回归模型）、拟合回归直线、使用residuls函数从模型中提取每个样本点的残差值、计算残差和和残差平方和
R语言使用lm函数构建简单线性回归模型(建立线性回归模型).拟合回归直线.使用residuls函数从模型中提取每个样本点的残差值.计算残差和和残差平方和目录
R语言lm函数构建简单线性回归（建立线性回归模型）、拟合回归直线、通过方差分析按变异的来源把结果变量的自由度、平方和、平均平方和进行分解、使用回归平方和与总的平方和计算调整R方指标（调整后的决定系数）
R语言使用lm函数构建简单线性回归模型(建立线性回归模型).拟合回归直线.通过方差分析按变异的来源把结果变量的自由度.平方和.
R语言使用lm函数构建简单线性回归模型（建立线性回归模型）、拟合回归直线、可视化散点图并添加简单线性回归直线、添加模型拟合值数据点、自定义pch参数设置数据点形式
R语言使用lm函数构建简单线性回归模型(建立线性回归模型).拟合回归直线.可视化散点图并添加简单线性回归直线.添加模型拟合值数据点.自定义pch参数设置数据点形式目录
R语言使用lm函数构建简单线性回归模型（建立线性回归模型）、拟合回归直线、使用plot函数可视化模型诊断图
R语言使用lm函数构建简单线性回归模型(建立线性回归模型).拟合回归直线.使用plot函数可视化模型诊断图目录
13_线性回归分析、线性模型、损失函数、最小二乘法之梯度下降、回归性能评估、sklearn回归评估API、线性回归正规方程，梯度下降API、梯度下降和正规方程对比
1.线性回归 1.1 线性模型试图学得一个通过属性的线性组合来进行预测的函数: 1.2 定义定义:线性回归通过一个或者多个自变量与因变量之间进行建模的回归分析.其中特点为一个或多个称为回归系数的模 ...
机器学习（11）线性回归（1）理论：损失函数(含最小二乘法)、正规方程、梯度下降、回归性能评估（均方差）
目录一.线性回归基础理论 1.定义与公式 2.线性关系(单特征与双特征) 2-1.单特征线性关系 2-2.双特征平面关系 2-3.其他线性模型二.线性回归的损失和优化原理 1.损失函数 1.定义 ...

matlab用梯度下降拟合回归直线

matlab用梯度下降拟合回归直线相关推荐

最新文章

热门文章