概念

单隐藏层神经网络就是典型的浅层（shallow）神经网络，即只包含一层隐含层。

从左到右，可以分成三层：输入层（Input layer），隐藏层（Hidden layer）和输出层（Output layer）。输入层和输出层，对应着训练样本的输入和输出。隐藏层是抽象的非线性的中间层，这也是其被命名为隐藏层的原因。

正向传播

通过输入层输入的值计算出隐含层和输出层的输出的过程，其中隐含层通过激活函数计算输出。

常用的激活函数有以下几个：

（1）sigmoid函数：二分类问题，一般选择sigmoid函数

（2）tanh函数：相对于sigmoid函数来说表现要好一点，取值在【-1,1】之间，隐含层的输出就被限制在这个范围，起到了对数据归一化的操作。

（3）LeLu函数：ReLU激活函数在z大于零时梯度始终为1；在z小于零时梯度始终为0；z等于零时的梯度可以当成1也可以当成0，实际应用中并不影响。对于隐藏层，选择ReLU作为激活函数能够保证z大于零时梯度始终为1，从而提高神经网络梯度下降算法运算速度。

（4）Leaky ReLU函数

反向传播

反向传播主要是通过梯度下降法来改变权值和阈值的过程，梯度就是求导的意思

注意：神经网络模型中的参数权重W是不能全部初始化为零的，b可初始化为0

深度学习-浅层神经网络相关推荐

吴恩达神经网络与深度学习——浅层神经网络
吴恩达神经网络与深度学习--浅层神经网络神经网络概述神经网络表示计算神经网络的输出 m个样本的向量化 for loop 向量化向量化实现的解释激活函数 sigmoid tanh函数 ReLu ...
(1-2)神经网络与深度学习 | 浅层和深层神经网络
目录浅层神经网络神经网络的表示计算神经网络的输出单个样本前向传播多个样本前向传播激活函数 sigmoid函数与tanh函数 Relu函数和Leaky Relu函数使用非线性激活函数原因 ...
吴恩达《神经网络与深度学习》精炼笔记（4）-- 浅层神经网络
上节课我们主要介绍了向量化.矩阵计算的方法和python编程的相关技巧.并以逻辑回归为例,将其算法流程包括梯度下降转换为向量化的形式,从而大大提高了程序运算速度.本节课我们将从浅层神经网络入手,开始真 ...
温州大学《深度学习》课程课件（四、浅层神经网络）
这学期我上的另一门课是本科生的<深度学习>,主要用的是吴恩达老师的<深度学习>视频课的内容. 本章内容见"授课计划"的标红部分使用教材:吴恩达<深度 ...
温州大学《深度学习》课程课件（三、浅层神经网络）
这学期我上的另一门课是本科生的<深度学习>,主要用的是吴恩达老师的<深度学习>视频课的内容. 使用教材:吴恩达<深度学习>课程笔记课外参考书:<深度学习&g ...
1.3）深度学习笔记------浅层神经网络
目录 1)Neural Network Overview 2)Neural Network Representation 3)Computing a Neural Network's Output(重 ...
01.神经网络和深度学习 W3.浅层神经网络
文章目录 1. 神经网络概览 2. 神经网络的表示 3. 神经网络的输出 4. 多样本向量化 5. 激活函数 6. 为什么需要非线性激活函数 7. 激活函数的导数 8. 随机初始化作业参考: 吴 ...
深度学习笔记（4）浅层神经网络
深度学习笔记(4) 浅层神经网络 1. 神经网络概述 2. 激活函数 3. 激活函数的导数 4. 神经网络的梯度下降 5. 随机初始化 1. 神经网络概述神经网络看起来是如下: 有输入特征x1.x2 ...
深度学习入门笔记（六）：浅层神经网络
专栏--深度学习入门笔记声明 1)该文章整理自网上的大牛和机器学习专家无私奉献的资料,具体引用的资料请看参考文献. 2)本文仅供学术交流,非商用.所以每一部分具体的参考资料并没有详细对应.如果某部分 ...
Coursera吴恩达《神经网络与深度学习》课程笔记（4）-- 浅层神经网络
红色石头的个人网站:redstonewill.com 上节课我们主要介绍了向量化.矩阵计算的方法和python编程的相关技巧.并以逻辑回归为例,将其算法流程包括梯度下降转换为向量化的形式,从而大大提高 ...

深度学习-浅层神经网络

概念

正向传播

反向传播

深度学习-浅层神经网络相关推荐

最新文章

热门文章