神经网络常用术语(Updating)
神经网络常用术语
目录
- 神经网络常用术语
- 神经元
- 权重
- 偏置
- 激活函数
- 输入层隐藏层
- 正向传播和反向传播
- 损失函数
- 学习率
神经元
M-P神经元模型是按照生物神经元的结构和工作原理构造出来的一个抽象的和简化了的人工神经元模型。如图,神经元网络有许多并行运算、功能简单的神经元组成,神经元是构成神经网络的基本元素。
- xjx_{j}xj:从j神经元传来的输入信号
- wijw_{ij}wij:从j到i的权值
- θ\thetaθ:偏置量
神经元i的输出与输入表达式为:
neti=∑j=1nxj−θ;yi=f(neti)net_{i} = \sum_{j=1}^n x_{j} - \theta ; y_{i} = f(net_{i}) neti=j=1∑nxj−θ;yi=f(neti)
f’()被称为激活函数或是转移函数,net称为净激活。
净激活为正,神经元处于激活状态;若为负,处于抑制状态。
权重
当输入进入神经元时,它会乘以一个权重。神经元对权重进行随机初始化,并在模型训练的过程中更新这些权重。
a为输入,w为权重
y=a×wy = a\times w y=a×w
偏置
除了权重之外,另一个被应用于输入的线性分量被称之为偏置。他的目的是改变输入与权重相乘结果的范围。
b为偏置
y=a×w+by = a\times w + b y=a×w+b
激活函数
激活函数的主要作用是加入非线性因素,使神经元的表达能力更强,在神经网络中至关重要。所选取的激活函数需要要求其处处可微。
神经网络可用的激活函数通常有,sigmoid、tanh、ReLU、softmax,
在TensorFlow中可用的激活函数有:
命令 | 描述 |
---|---|
tf.nn.sigmoid(x,name=None) | yyy = 11+e−x\frac{1}{1+e^-x}1+e−x1 |
tf.nn.tanh(x,name=None) | 双曲正切激活函数 |
tf.nn.relu(features,name=None) | 整流函数:maxmaxmax(features,0)(features,0)(features,0) |
tf.nn.sigmoid(x,name=None) | yyy = 11+e−x\frac{1}{1+e^-x}1+e−x1 |
//此表格未完待更新
各种激活函数
输入层隐藏层
输入层是接收输入的那一层,本质上是网络的第一层,而输出层是生成输出的那一层。处理层是网络的隐藏层。
正向传播和反向传播
正向传播是指输入通过隐藏层到输出层的运动。在正向传播的过程中,信息沿着一个单一方向前进。输入层将输入提供给隐藏层,然后生成输出。在此过程中是没有反向运动的。
使用损失函数的梯度权重更新,被称为反向传播。当定义神经网络时,为节点分配随机权重和偏差值,一旦收到单次迭代的输出,就可以计算出网络的错误。然后将该错误与损失函数的梯度一起从外层通过隐藏层回流,以更新网络的权重。
损失函数
当建立一个网络时,网络试图将输出预测得尽可能接近实际值。可使用损失函数(成本函数)来衡量网络的准确性,以提高预测精度并减少误差,从而最大限度地降低损失。最优化的输出是那些损失函数值最小的输出。
损失函数
损失函数=Loss(z);损失函数 = Loss(z) ; 损失函数=Loss(z);
*梯度下降函数, lr 学习率 *
wt+1=wt−lr×d(Loss(z))dwt;w_{t+1} = w_{t} - lr \times \frac{d(Loss(z))}{dw_{t}} ; wt+1=wt−lr×dwtd(Loss(z));
各种常见损失函数
学习率
学习率被定义为每次迭代过程中损失函数最小化的量,即下降到损失函数的最小值的速率。学习率的额选择很关键,若学习率偏大,则最佳解决方案可能会被错过;反之,网络优化效率会非常低。
神经网络常用术语(Updating)相关推荐
- 机器学习常用术语词汇表
EOF是一个计算机术语,为End Of File的缩写 ,在操作系统中表示资料源无更多的资料可读取. 刚接触机器学习框架 TensorFlow 的新手们,这篇由 Google 官方出品的常用术语词汇表 ...
- 超全汇总!机器学习常用术语词汇表
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 刚接触机器学习框架 TensorFlow 的新手们,这篇由 Goo ...
- 【机器学习基础】超全汇总!机器学习常用术语词汇表(建议收藏)
刚接触机器学习框架 TensorFlow 的新手们,这篇由 Google 官方出品的常用术语词汇表,一定是你必不可少的入门资料!本术语表列出了基本的机器学习术语和 TensorFlow 专用术语的定义 ...
- 深度学习(二)——深度学习常用术语解释, Neural Network Zoo, CNN, Autoencoder
Dropout(续) 除了Dropout之外,还有DropConnect.两者原理上类似,后者只隐藏神经元之间的连接. 总的来说,Dropout类似于机器学习中的L1.L2规则化等增加稀疏性的算法,也 ...
- 机器学习常用术语超全汇总
点击关注|设为星标|干货速递 刚接触机器学习框架 TensorFlow 的新手们,这篇由 Google 官方出品的常用术语词汇表,一定是你必不可少的入门资料!本术语表列出了基本的机器学习术语和 Ten ...
- 机器学习核心概念、常用术语整理(建议收藏)
[转]机器学习核心概念完全解析(建议收藏) 原文链接:https://mp.weixin.qq.com/s/wEpmF1gdvsIimnvXrxKdRw AI干货知识库 刚接触机器学习框架 Tenso ...
- 【转】软件开发常用术语
软件开发技术常用术语 A.I. 人工智能 A2A integration A2A整合 abstract 抽象的 abstract base class (ABC)抽象基类 abstract class ...
- 计算机常用术语中英对照
算法常用术语中英对照 Data Structures 基本数据结构 Dictionaries 字典 Priority Queues 堆 Graph Data Structures 图 Set Data ...
- 计算机算法常用术语中英对照
1 第一部分.计算机算法常用术语中英对照2 Data Structures 基本数据结构3 Dictionaries 字典4 Priority Queues 堆5 Graph Data Structu ...
最新文章
- oracle怎么下载安装,Oracle数据库的下载和安装方法
- SignalR实现服务器与客户端的实时通信
- mongodb基本指令与高级查询指令以及聚合命令
- Mapreduce和Yarn概念,参数优化,作用,原理,MapReduce计数器 Counter,MapReduce 多job串联之ControlledJob(来自学习资料)
- 【HNOI2014】画框
- 解决svn log显示no author,no date的方法之一
- python 字典添加元素乱序了_Python有序字典的两个小“惊喜”
- [导入]FtpClient Library升级到4.x
- 请以平常心看这篇帖子
- 源码:Spark SQL 分区特性第一弹
- 前端css 宠物列表
- 个人版整理APP测试流程
- domoticz折腾指南--通过esp_easy固件控制继电器开关
- 视频号新人直播应该准备什么?
- Error parsing HTTP request header...java.lang.IllegalArgumentException: Invalid character found in m
- 【C】牛客网 编程入门训练138道题
- 数据类型的划分和进制之间的转换方式(二进制,十进制,八进制,十六进制)
- nodeJS - 切换使用淘宝镜像【临时切换、 长期切换】
- RPC实践(二)JsonRPC实践
- 我是如何wine QQ2009