神经网络和深度学习-第二周神经网络基础-第四节：梯度下降法

2019独角兽企业重金招聘Python工程师标准>>>

本系列博客是吴恩达(Andrew Ng)深度学习工程师课程笔记。全部课程请查看吴恩达(Andrew Ng)深度学习工程师课程目录

在上一节中学习了损失函数，损失函数是衡量单一训练样例的效果，成本函数用于衡量参数w和b的效果，在全部训练集上来衡量。下面我们讨论如何使用梯度下降法，来训练和学习训练集上的参数w和b，使得$J(w,b)$尽可能地小。

这个图中的横轴表示空间参数w和b，在实践中，w可以是更高维的。成本函数$J(w,b)$是在水平轴w和b上的曲面，曲面的高度表示了$J(w,b)$在某一点的值，我们所想要做的就是找到这样的w和b，使其对应的成本函数J值是最小值。可以看到成本函数$J$是一个凸函数，因此我们的成本函数$J(w,b)$之所以是凸函数，其性质是我们使用logistic回归的个特定成本函数$J$的重要原因之一。为了找到更好的参数值，我们要做的就是用某初始值初始化w和b，用图上最上面的小红点表示。

对于logistic回归而言几乎任意初始化方法都有效，通用用0来进行初始化，但对于logistic回归，我们通常不这么做。因为函数是凸的无论在哪里初始化，都应到达同一点或大致相同的点。梯度下降法所做的就是从初始点开始朝最陡的下坡方向走，就像图里一样沿着红点一直走，直到到达或接近全局最优解。

转载于:https://my.oschina.net/geekidentity/blog/1595844

神经网络和深度学习-第二周神经网络基础-第四节：梯度下降法相关推荐

第一课神经网络与深度学习第二周神经网络基础（已完结（虽然有坑））
视频地址二分分类怎么说,第一段话就颠覆了我的想象,遍历m个样本不需要用for循环这里是介绍了图片的预处理,将图片切分为rgb三个颜色空间(这个我熟),然后将所有的分别将三幅单通道图片的所有像素排 ...
深入理解吴恩达老师深度学习课程（01神经网络和深度学习第二周）
深入理解吴恩达深度学习(01神经网络和深度学习第二周) 1引言 2.1 二分类(Binary Classification) 2.1.1 符号定义(视频给出的) 2.2 逻辑回归(Logistic ...
吴恩达神经网络和深度学习——第二周笔记
Week2 目录 Week2 2-1二分分类 2.2logistic regression 2.3logistic回归的成本函数 2.4梯度下降 2.5.2.6均是高等数学中求导数的方法 2.7.2. ...
深度学习 - 第二章 - 机器学习基础
深度学习 - 第二章 - 机器学习基础第二章机器学习基础 2.1 各种常见算法图示 2.2 监督学习.非监督学习.半监督学习.弱监督学习? 2.3 监督学习有哪些步骤 2.4 多实例学习? 2.5 ...
01.神经网络和深度学习 W4.深层神经网络（作业：建立你的深度神经网络+图片猫预测）
文章目录作业1. 建立你的深度神经网络 1. 导入包 2. 算法主要流程 3. 初始化 3.1 两层神经网络 3.2 多层神经网络 4. 前向传播 4.1 线性模块 4.2 线性激活模块 4.3 多 ...
吴恩达神经网络与深度学习——浅层神经网络
吴恩达神经网络与深度学习--浅层神经网络神经网络概述神经网络表示计算神经网络的输出 m个样本的向量化 for loop 向量化向量化实现的解释激活函数 sigmoid tanh函数 ReLu ...
吴恩达深度学习第二周--logistic回归作业1
吴恩达深度学习第二周–logistic回归作业1 本系列为吴恩达老师深度学习作业的总结,其中参考了很多优秀的文章,本文为了方便日后的复习与巩固,更为详细的作业讲解参考目录吴恩达深度学习第二周--l ...
吴恩达深度学习deeplearning.ai——第一门课：神经网络与深度学习——第二节：神经网络基础（上）
2.1 二元分类 (Binary Classification) 这周我们将学习神经网络的基础知识,其中需要注意的是,当实现一个神经网络的时候,我们需要知道一些非常重要的技术和技巧.例如有一个包含 m ...
吴恩达【神经网络和深度学习】Week2——神经网络基础
文章目录 1.Logistic Regression as a Neural Network 1.1.Binary Classification 1.1.1.Introduction 1.1.2.No ...

神经网络和深度学习-第二周神经网络基础-第四节：梯度下降法

神经网络和深度学习-第二周神经网络基础-第四节：梯度下降法相关推荐

最新文章

热门文章