梯度下降法（一）入门

2012-12-11 13:14 22981人阅读评论(12) 收藏举报

本文章已收录于：

分类：

【算法】（27）

作者同类文章X

梯度下降法是一个一阶最优化算法，通常也称为最速下降法。我之前也没有关注过这类算法。最近，听斯坦福大学的机器学习课程时，碰到了用梯度下降算法求解线性回归问题，于是看了看这类算法的思想。今天只写了一些入门级的知识。

我们知道，函数的曲线如下：

编程实现：c++ code

[cpp] view plaincopyprint?

/*
* @author:郑海波
* blog.csdn.net/nuptboyzhb/
* 2012-12-11
*/
#include <iostream>
#include <math.h>
using namespace std;
int main()
{
double e=0.00001;//定义迭代精度
double alpha=0.5;//定义迭代步长
double x=0;//初始化x
double y0=x*x-3*x+2;//与初始化x对应的y值
double y1=0;//定义变量，用于保存当前值
while (true)
{
x=x-alpha*(2.0*x-3.0);
y1=x*x-3*x+2;
if (abs(y1-y0)<e)//如果2次迭代的结果变化很小，结束迭代
{
break;
}
y0=y1;//更新迭代的结果
}
cout<<"Min(f(x))="<<y0<<endl;
cout<<"minx="<<x<<endl;
return 0;
}
//运行结果
//Min(f(x))=-0.25
//minx=1.5
//Press any key to continue

/** @author:郑海波* blog.csdn.net/nuptboyzhb/* 2012-12-11*/
#include <iostream>
#include <math.h>
using namespace std;
int main()
{double e=0.00001;//定义迭代精度double alpha=0.5;//定义迭代步长double x=0;//初始化xdouble y0=x*x-3*x+2;//与初始化x对应的y值double y1=0;//定义变量，用于保存当前值while (true){x=x-alpha*(2.0*x-3.0);y1=x*x-3*x+2;if (abs(y1-y0)<e)//如果2次迭代的结果变化很小，结束迭代{break;}y0=y1;//更新迭代的结果}cout<<"Min(f(x))="<<y0<<endl;cout<<"minx="<<x<<endl;return 0;
}
//运行结果
//Min(f(x))=-0.25
//minx=1.5
//Press any key to continue

问题：

迭代步长alpha为什么要选择0.5？？选择其他的值可以吗？它的取值与迭代的次数、收敛性及结果的准确性有何关系？如果选择alpha的值？下次好好的探讨。

转载请声明：http://blog.csdn.net/nuptboyzhb/article/details/8281923

梯度下降法（一）入门相关推荐

机器学习入门（09）— 偏导数、梯度概念、梯度下降法理论和实现
1. 偏导数概念对于式 4-6 而言式(4.6)有两个变量,求导数时有必要区分对哪个变量求导数,即对 x0 和 x1 两个变量中的哪一个求导数.另外,我们把这里讨论的有多个变量的函数的导数称为偏导 ...
机器学习入门系列一（关键词：单变量线性回归，梯度下降法）
机器学习入门系列一(关键词:单变量线性回归,梯度下降法) 如上图所示,我们的目标是希望通过这些数据得到城市人口数和利润可能的对应关系,并可以通过城市人口数(利润)来预测它的利润(城市人口数),在这里我 ...
数学优化入门：梯度下降法、牛顿法、共轭梯度法
1.基本概念 1.1 方向导数 1.2 梯度的概念因此,对于一元函数,即y=f(x),其梯度的方向总是指向x轴正方向或反方向,而大小即该点的导数. 如果考虑z=f(x,y)描绘的是一座在点(x,y) ...
深度学习入门之SGD随机梯度下降法
SGD SGD为随机梯度下降法.用数学式可以将 SGD 写成如下的式(6.1). 这里把需要更新的权重参数记为W,把损失函数关于W的梯度记为 ∂L/∂W .ηηη 表示学习率,实际上会取 0.01 或 ...
通俗易懂讲解梯度下降法！
Datawhale干货作者:知乎King James,伦敦国王大学知乎 | https://zhuanlan.zhihu.com/p/335191534 前言:入门机器学习必须了解梯度下降法,虽然 ...
python机器学习库sklearn——SGD梯度下降法
分享一个朋友的人工智能教程.零基础!通俗易懂!风趣幽默!还带黄段子!大家可以看看是否对自己有帮助:点击打开 docker/kubernetes入门视频教程全栈工程师开发手册 (作者:栾鹏) pyth ...
机器学习（四）：批量梯度下降法（BGD）、随机梯度下降法（SGD）和小批量梯度下降法（MBGD）
本文基于吴恩达老师的机器学习课程.看了吴恩达老师的机器学习课程,收获很多,想把课上学做的笔记结合自己的理解以及找到的一些资料综合起来做一个总结.大家感兴趣也可以自己去看一看吴恩达老师的课,这套课程,被 ...
深度学习原理-----线性回归+梯度下降法
系列文章目录深度学习原理-----线性回归+梯度下降法深度学习原理-----逻辑回归算法深度学习原理-----全连接神经网络深度学习原理-----卷积神经网络深度学习原理-----循环神经网 ...
李弘毅机器学习：第四章—梯度下降法
李弘毅机器学习:第四章-梯度下降法什么是梯度下降法? Review: 梯度下降法 Tip1:调整学习速率小心翼翼地调整学习率自适应学习率 Adagrad 算法 Adagrad 是什么? Adag ...

梯度下降法（一）入门

梯度下降法（一）入门相关推荐

最新文章

热门文章