【吴恩达机器学习】学习笔记—

梯度下降算法能够帮助我们快速得到代价函数的最小值

算法思路：

以某一参数为起始点
寻找下一个参数使得代价函数的值减小，直到得到局部最小值

梯度下降算法：

重复下式直至收敛（收敛是指得到局部最低点的θ_j后，偏导数的值为零，θ_j不会再改变）
并且各参数θ₀,...,θ_n必须同时更新，即所有的θ_j值全部都计算得到新值之后才将参数值代入到代价函数中

上式中的α是学习速率，决定了θ_j移动的步伐大小。如果α太小，那么θ_j就会更新的很慢；但是如果α太大，θ_j就有可能越过最低点，导致偏导数越来越大，最终远离最低点不收敛。

而上式的偏导数的作用十分巧妙，当θ_j越来越接近局部最低点时，相应地，偏导数会越来越小，因此θ_j更新的幅度会越来越小，直至收敛。

转载于:https://www.cnblogs.com/JJJanepp/p/8454599.html

【吴恩达机器学习】学习笔记——梯度下降相关推荐

吴恩达机器学习学习笔记第七章：逻辑回归
分类Classification分为正类和负类 (规定谁是正谁是负无所谓) 吴恩达老师举例几个例子:判断邮箱是否是垃圾邮箱一个在线交易是否是诈骗一个肿瘤是良性的还是恶性如果我们用之前学习的lin ...
吴恩达机器学习--学习笔记
1. Introduction 1.1 Welcome 如今机器学习被大规模应用于: 数据挖掘(网站点击,医学记录,生物学,工程) 一些无法通过编程实现的功能(自动驾驶,手写识别,NLP,CV) se ...
吴恩达机器学习学习笔记第二章：单变量线性回归
模型描述: 训练集(training set):是监督学习中独有的概念,由我们人喂给电脑的既有既有特征x又有结果y的数据.下图x是房子面积 ,y是房屋对应的价格符号记法解释: (x^(1),y^(1 ...
吴恩达“机器学习”——学习笔记六
最优边界分类器(最大间隔分类器)(续学习笔记五) 在线性分类器中,我们要找到一个边界线,使得几何间隔最大,即: ||w||在几何间隔中是无关紧要的,这里取1,使得几何间距和函数间距一致. 但是这个并不 ...
吴恩达机器学习学习笔记第八章：正则化
1.过拟合问题如图所示是线性回归的三种情况: 图一是欠拟合数据点没有全部被(另一种说法这个算法有高偏差) 图二的二次函数来拟合效果很不错图三用了4次多项式有5个参数但是曲线歪歪扭扭的显得非常 ...
吴恩达“机器学习”——学习笔记二
定义一些名词欠拟合(underfitting):数据中的某些成分未被捕获到,比如拟合结果是二次函数,结果才只拟合出了一次函数. 过拟合(overfitting):使用过量的特征集合,使模型过于复杂. ...
吴恩达机器学习学习笔记第一章：绪论初识机器学习
一. 什么是机器学习(Machine Learning)? 首先学习的对象是电脑学习指的其实就是算法机器学习就是基于数据基于算法从数据中去提炼对事物的认知和规律掌握了这些特征和规律后就可 ...
吴恩达机器学习学习笔记之一监督学习和无监督学习
一. 1-1 welcome 1-2 什么是机器学习--Machine Learning 机器学习尚无明确定义,现有的定义有: (1)Field of study that gives compute ...
吴恩达机器学习学习笔记第九章：神经网络学习
课时①非线性假设通过说Linear Regression和logistic Regression的不足来引入神经网络: 安卓告诉我们神经网络并不是什么新玩意儿,老早就有了,但是他经过了一段低迷期直到 ...
吴恩达机器学习学习笔记第四章：python的配置
python有两个版本分python2和python3这两个可以说是截然不同了市面上python语言基础的书籍大多停留在python2 本人紧跟时代潮流使用的是python3.6 如果你也想学对p ...

【吴恩达机器学习】学习笔记——梯度下降

【吴恩达机器学习】学习笔记——梯度下降相关推荐

最新文章

热门文章