深层神经网络——线性模型的局限性

深度学习精确定义：
一类通过多层非线性变换对高复杂数据建模算法的集合。
深层神经网络是实现多层非线性变换最常用的一种方法，实际中基本可以认为深度学习就是深层神经网络的代名词。
深度学习特性：多层和非线性

线性模型的局限性：
再线性模型中，模型的输出为输入的加权和，假设一个模型的输出y和输入x满足以下关系，这个模型就是一个线性模型。

其中wi,b∈R为模型参数。被称之为线性模型是因为当模型的输入只有一个的时候，x和y形成了二维坐标系上的一条直线。类似的，当模型的输入有n个的时候，x和y就形成了n+1维空间的中的一个平面。而一个线性模型中通过输入得到输出的函数被称之为一个线性变换。上面的公式是一个线性变换。线性模型最大特点是任意线性模型的组合仍然还是线性模型。
前向传播算法实现的就是一个线性模型：

其中x是输入，W是参数。整个模型的输出为：

这样输入和输出的关系就可以表示为：

其中W’是新的参数。这个前向传播算法完全符合线性模型的定义。我们可以得知，虽然这个神经网络有两层（不算输入层），但是它和单层的神经网络并没有区别。以此类推，只通过线性变换，任意层的全连接神经网络和单层的神经网络模型的表达能力没有任何区别，而且它们都是线性模型。线性模型能够解决的问题是有限的，这就是线性模型最大的局限性。

深层神经网络——线性模型的局限性相关推荐

TensorFlow：实战Google深度学习框架（三）深层神经网络
第四章深层神经网络 4.1 深度学习与深层神经网络 4.1.1 线性模型的局限性 4.1.2 激活函数实现非线性化 4.1.3 多层网络解决异或问题 4.2 损失函数 4.2.1 经典损失函数 1. ...
TensorFlow之深层神经网络
前面介绍了TensorFlow的主要概念,并给出了一个完整的TensorFlow程序来训练神经网络.这一章将介绍:如何设计和优化神经网络,使得他能够更好地对未知的样本进行预测. 1.介绍深度学习与深层 ...
TensorFlow学习笔记——深层神经网络
引言 TensorFlow 版本1.15pip3 install tensorflow==1.15.0. 这是<TensorFlow实战Google深度学习框架(第2版)>的学习笔记,所有 ...
用深层神经网络解释大脑的运作
来源:混沌巡洋舰 Daniel Yamins,麻省理工学院博士后的一位计算神经科学,有时会为了他的机器视觉项目辛苦工作到午夜以后.他煞费苦心地设计了一个系统,可以识别图片中的物体,而不管其大小.位置和 ...
【TensorFlow】笔记２：深层神经网络
一.深度学习 vs 深层神经网络深度学习:一类通过多层非线性变换对高复杂性数据建模算法的集合. 1.激活函数线性模型的最大特点:任意线性模型的组合仍是线性模型,能够解决的问题也是有限的,这就是线性 ...
机器学习实战11-训练深层神经网络
目录一.梯度消失/爆炸问题 1.1.Xavier( Glorot)初始化(使用逻辑激活函数): 1.2.He 初始化(ReLU 激活函数及其变体,包括简称 ELU 激活): 1.3.非饱和激活函数 ...
为什么深层神经网络难以训练_“用魔法击败魔法”？一群计算神经学家正借神经网络解释大脑...
原文:Deep Neural Networks Help to Explain Living Brains [1] 作者:Anil Ananthaswamy(科普作家) 译者:Yang 2011 年冬 ...
ApacheCN《Sklearn 与 TensorFlow 机器学习实用指南》第11章项目训练深层神经网络（梯度消失与梯度爆炸，选择初始化，选择激活函数）
原文:https://www.jishux.com/p/52b468ceb5722ca5 第11章训练深层神经网络来源:ApacheCN<Sklearn 与 TensorFlow 机器学习实 ...
神经网络 mse一直不变_用深层神经网络解释大脑的运作
原标题:用深层神经网络解释大脑的运作斯坦福计算神经学家Daniel Yamins 类似地,研究人员已经证明,最擅长分类言语.音乐和模拟气味的深层网络,其结构似乎与大脑的听觉和嗅觉系统平行.这些相似之 ...

深层神经网络——线性模型的局限性

深层神经网络——线性模型的局限性相关推荐

最新文章

热门文章