1.神经元（Neuron）

就像形成我们大脑基本元素的神经元一样，神经元形成神经网络的基本结构。想象一下，当我们得到新信息时我们该怎么做。当我们获取信息时，我们一般会处理它，然后生成一个输出。类似地，在神经网络的情况下，神经元接收输入，处理它并产生输出，而这个输出被发送到其他神经元用于进一步处理，或者作为最终输出进行输出。

2.权重（Weights）

当输入进入神经元时，它会乘以一个权重。例如，如果一个神经元有两个输入，则每个输入将具有分配给它的一个关联权重。我们随机初始化权重，并在模型训练过程中更新这些权重。训练后的神经网络对其输入赋予较高的权重，这是它认为与不那么重要的输入相比更为重要的输入。为零的权重则表示特定的特征是微不足道的。

让我们假设输入为a，并且与其相关联的权重为W1，那么在通过节点之后，输入变为a * W1

3.偏差（Bias）

除了权重之外，另一个被应用于输入的线性分量被称为偏差。它被加到权重与输入相乘的结果中。基本上添加偏差的目的是来改变权重与输入相乘所得结果的范围的。添加偏差后，结果将看起来像a* W1 +偏差。这是输入变换的最终线性分量。

4.激活函数（Activation Function）

一旦将线性分量应用于输入，将会需要应用一个非线性函数。这通过将激活函数应用于线性组合来完成。激活函数将输入信号转换为输出信号。应用激活函数后的输出看起来像f（a * W1 + b），其中f（）就是激活函数。

在下图中，我们将“n”个输入给定为X1到Xn而与其相应的权重为Wk1到Wkn。我们有一个给定值为bk的偏差。权重首先乘以与其对应的输入，然后与偏差加在一起。而这个值叫做u。

U =ΣW* X+ b

激活函数被应用于u，即 f(u)，并且我们会从神经元接收最终输出，如yk = f（u）。

【Deep Learning笔记】神经网络基础相关推荐

Deep learning笔记
Deep learning:一(基础知识_1) 出处:http://www.cnblogs.com/tornadomeet 欢迎转载或分享,但请务必声明文章出处. 前言: 最近打算稍微系统的学习下de ...
《学习geometric deep learning笔记系列》第一篇，Non-Euclidean Structure Data之我见
<学习geometric deep learning笔记系列>第一篇,Non-Euclidean Structure Data之我见 FesianXu at UESTC 前言本文是笔者在 ...
dive into deep learning 循环神经网络 RNN 部分学习
dive into deep learning 循环神经网络 RNN 部分学习到目前为止,我们遇到过两种类型的数据:表格数据和图像数据. 对于图像数据,我们设计了专门的卷积神经网络架构来为这类特殊 ...
吴恩达Deep learning笔记（一）
Welcome to Deep learning Specialization 介绍了深度学习目前的发展状况以及未来的前景 Introdcution to Deep Learning what'is ...
neural network and deep learning笔记（1）
neural network and deep learning 这本书看了陆陆续续看了好几遍了,但每次都会有不一样的收获.DL领域的paper日新月异,每天都会有很多新的idea出来,我想,深入阅读 ...
【Deep Learning笔记】一个很好的神经网络相关定义(看不懂你来打我)
"神经网络由许多相互关联的概念化的人造神经元组成,它们之间传递相互数据,并且具有根据网络"经验"调整的相关权重.神经元具有激活阈值,如果通过其相关权重的组合和传递给他们的 ...
【Deep Learning笔记】神经网络的优化解读（看不懂你来打我~！）
文章目录 1 激活函数 1.1 sigmoid 1.2 tanh 1.3 ReLU函数 1.4 ReLU函数的变种 2 Dropout 2.1 原理 2.2 实验 2.3 作者重点分析的一些特点 1 ...
【Deep Learning笔记】前馈神经网络和BP算法
文章目录 1 前馈神经网络 1.1 网络训练一些定义 2 反向传播算法 2.1 前言 2.2 符号约定 2.3 反向传播算法的推导 2.4 总结过程 3 收敛和局部极值 4 神经网络杂谈 1 前馈神经 ...
【Deep Learning笔记】循环神经网络
文章目录循环神经元(Recurrent Neuron) 循环神经网络(RNN) 消失梯度问题(Vanishing Gradient Problem) 激增梯度问题(Exploding Gradien ...

【Deep Learning笔记】神经网络基础

文章目录

1.神经元（Neuron）

2.权重（Weights）

3.偏差（Bias）

4.激活函数（Activation Function）

【Deep Learning笔记】神经网络基础相关推荐

最新文章

热门文章