深度学习-吴恩达-笔记-3-浅层神经网络

神经网络概述

神经网络的表示

计算一个神经网络的输出

多样本向量化

向量化实现的解释

激活函数

为什么需要非线性激活函数

激活函数的导数

神经网络的梯度下降

直观理解反向传播

随机初始化

【此为本人学习吴恩达的深度学习课程的笔记记录，有错误请指出！】

神经网络概述

神经网络看起来如下这个样子，也就是把许多sigmoid 单元堆叠起来形成一个神经网络：

整个计算过程如下：

第一层前向传播：

第一层反向传播：

第二层反向传播：

神经网络的表示

本例中的神经网络只包含一个隐藏层：

神经网络的符号定义：

计算一个神经网络的输出

隐藏层的计算输出过程：

隐藏层的输出的详细结果如下：

向量化计算：

一个完整的神经网络的计算输出过程：

以上是一个样本的神经网络的输出预测值的过程。

多样本向量化

对于多个训练样本，需要标明训练样本的标号。

【注】：：(

深度学习-吴恩达-笔记-3-浅层神经网络相关推荐

深度学习-吴恩达-笔记-7-超参数调试、Batch正则化和程序框架
目录调试处理为超参数选择合适的范围超参数调试实践: Pandas VS Caviar 归一化网络的激活函数将 Batch Norm 拟合进神经网络 Batch Norm 为什么奏效? 测试时的 ...
深度学习-吴恩达-笔记-6-优化算法
目录 Mini-batch 梯度下降理解 mini-batch 梯度下降法指数加权平均数理解指数加权平均数指数加权平均的偏差修正动量梯度下降法 ( Gradient descent with ...
深度学习-吴恩达-笔记-5-深度学习的实践层面
目录训练.验证.测试集偏差.方差机器学习基础正则化为什么正则化有利于预防过拟合 dropout正则化理解dropout 其它正则化方法归一化输入梯度消失/梯度爆炸神经网络的权重初始化 ...
深度学习-吴恩达-笔记-4-深层神经网络
目录深层神经网络前向传播和反向传播深层网络中的前向传播核对矩阵的维数为什么使用深层表示搭建神经网络块参数 VS 超参数深度学习和大脑的关联性 [此为本人学习吴恩达的深度学习课程的笔记记 ...
深度学习-吴恩达-笔记-2-神经网络的编程基础
目录二分类逻辑回归逻辑回归的代价函数梯度下降法导数计算图使用计算图求导逻辑回归中的梯度下降 m个样本的梯度下降向量化向量化的更多例子向量化逻辑回归向量化逻辑回归的梯度输出 Py ...
深度学习-吴恩达-笔记-1-深度学习引言
目录什么是神经网络神经网络的监督学习为什么深度学习会兴起 [此为本人学习吴恩达的深度学习课程的笔记记录,有错误请指出!] 什么是神经网络让我们从一个房价预测的例子开始讲起,如根据房子面积来预测 ...
[深度学习]吴恩达笔记——第二周
一.神经网络表示 1. w [ 1 ] w^{[1]} w[1]是(4,3)的原因:第一层 a [ 1 ] a^{[1]} a[1]有4个节点,输入有3个特征 2. w [ 2 ] w^{[2]} w ...
（一，1NN-QI）神经网络与深度学习——吴恩达深度学习配套笔记
从神经网络基础到量化投资应用疫情当前,国难当头,当灾难来临的时候才深刻的感觉到了自己的弱小,对国家,对亲人,是这么的无能为力,希望做点什么,可是却什么也做不了.不过庆幸的是我们还年轻,现在也不是自怜 ...
【深度学习-吴恩达】L1-4 深层神经网络作业
L1 深度学习概论 4 深层神经网络作业链接:吴恩达<深度学习> - Heywhale.com 0 作业任务构建一个任意层数的深度神经网络实现构建深度神经网络所需的所有函数使用这些 ...

深度学习-吴恩达-笔记-3-浅层神经网络

神经网络概述

神经网络的表示

计算一个神经网络的输出

多样本向量化

深度学习-吴恩达-笔记-3-浅层神经网络相关推荐

最新文章

热门文章