深层神经网络——激活函数去线性化

当神经元结构的输出为所有输入的加权和，那么神经网络是一个线性模型。如果将每一个神经元（神经网络节点），的输出通过一个非线性函数，那么整个神经网络的模型也就不再是线性的了。这个非线性函数就是激活函数。
下图为加入了激活函数和偏置项后的神经元结构：

神经网络结构加上激活函数和偏置项后的前向传播算法的数学定义为：

相比于传统的神经网络主要有两个改变：
第一是增加了偏置项（bias），偏置项是神经网络中非常常用的一种结构。
第二是每个节点的取值不再是单纯的加权和。每个节点的输出在加权和的基础上还做了一个非线性变换。
以下是几种常用的非线性激活函数的函数图像：

ReLu函数基本代替了sigmoid函数了，因为sigmoid函数很容易引起梯度消失，导致过拟合。
这些激活函数图像都不是一条直线，所以通过这些激活函数，每一个节点不再是线性变换，于是整个神经网络就不再是线性的了。

下图是加入了偏置项和ReLu激活函数之后的神经网络结构：

偏置项被设置为一个输出永远为1的节点（通常设置为1或者0，一般为常数项）。
新的神经网络模型前向传播算法的计算方法为：
隐藏层：

输出层：

目前Tensorflow提供了七种不同的非线性激活函数，tf.nnrelu、tf.sigmoid、tf.tanh是比较常用的几个。当然，Tensorflow也支持使用自己定义的激活函数。

深层神经网络——激活函数去线性化相关推荐

ApacheCN《Sklearn 与 TensorFlow 机器学习实用指南》第11章项目训练深层神经网络（梯度消失与梯度爆炸，选择初始化，选择激活函数）
原文:https://www.jishux.com/p/52b468ceb5722ca5 第11章训练深层神经网络来源:ApacheCN<Sklearn 与 TensorFlow 机器学习实 ...
深层神经网络和批归一化操作、selu激活函数、dropout
深层神经网络其实对比之前的分类模型,他的网络层数更深,层数更多,但是,有时候也会造成过拟合的风险因为参数过多,导致全部拟合完容易记住样本. model = keras.models.Sequentia ...
【TensorFlow】笔记２：深层神经网络
一.深度学习 vs 深层神经网络深度学习:一类通过多层非线性变换对高复杂性数据建模算法的集合. 1.激活函数线性模型的最大特点:任意线性模型的组合仍是线性模型,能够解决的问题也是有限的,这就是线性 ...
TensorFlow：实战Google深度学习框架（三）深层神经网络
第四章深层神经网络 4.1 深度学习与深层神经网络 4.1.1 线性模型的局限性 4.1.2 激活函数实现非线性化 4.1.3 多层网络解决异或问题 4.2 损失函数 4.2.1 经典损失函数 1. ...
TensorFlow学习笔记——深层神经网络
引言 TensorFlow 版本1.15pip3 install tensorflow==1.15.0. 这是<TensorFlow实战Google深度学习框架(第2版)>的学习笔记,所有 ...
人工智能:深层神经网络
为什么使用深层网络对于人脸识别等应用,神经网络的第一层从原始图片中提取人脸的轮廓和边缘,每个神经元学习到不同边缘的信息:网络的第二层将第一层学得的边缘信息组合起来,形成人脸的一些局部的特征,例如眼睛 ...
深层神经网络与优化算法
深层神经网络与优化算法为什么使用深层网络对于人脸识别等应用,神经网络的第一层从原始图片中提取人脸的轮廓和边缘,每个神经元学习到不同边缘的信息:网络的第二层将第一层学得的边缘信息组合起来,形成人脸的 ...
4.5 搭建深层神经网络块-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 4.4 为什么使用深层表示回到目录 4.6 前向和反向传播搭建深层神经网络块 (Building Blocks of Deep Neural Networks) 这周的前 ...
4.1 深层神经网络-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.12 总结习题回到目录 4.2 深层网络中的前向传播深层神经网络 (Deep L-layer Neural Network) 目前为止我们学习了只有一个单独隐藏层的神 ...

深层神经网络——激活函数去线性化

深层神经网络——激活函数去线性化相关推荐

最新文章

热门文章