cv学习笔记（3）神经网络数学原理

2024-05-18 06:22:52

cv学习笔记（3）神经网络数学原理

根据一个神经网络例子来介绍

输入是年龄、收入、性别，输出是买车和不买车的概率。该神经网络包含一个输入层、一个隐含层、一个输出层，每个节点和下一层的所有节点都有连接，是Dense神经网络。

激活函数

如图所示，A表示激活函数，采用双曲正切函数，tanh(1.23)=0.84。

归一化函数

如图所示，softmax表示归一化指数函数，将2.08和1.81变为0.57和0.43。

模型生成的流程

初始化时随机生成wij、wjk、bj、bk，可以计算出out1=xiwij+bj，out2=hjwjk+bk。
由实际的输出tk和期望得到的输出ok，得到损失函数：

对于此损失函数，分别对wij、wjk、bj、bk求偏导，得到：

这些偏导就是wij、wjk、bj、bk的梯度，采用梯度下降法，在训练过程中逐渐将这些参数最优化。

例如对于wjk的梯度，求得为0.12：

调整wjk为wjk-0.12*0.01=0.488，其中0.12为梯度，如果初始设置的步长是0.01：

再例如对于wij的梯度，求得为0.0004：

调整wij为wij-0.0004*0.1=0.09996，其中0.0004为梯度，如果初始设置的步长是0.1：

每次训练都采用梯度下降法，直至到最优模型。

总结

参考链接: https://www.bilibili.com/video/BV1WJ411B7nL。

cv学习笔记（3）神经网络数学原理相关推荐

CV学习笔记-BP神经网络训练实例（含详细计算过程与公式推导）
BP神经网络训练实例 1. BP神经网络关于BP神经网络在我的上一篇博客<CV学习笔记-推理和训练>中已有介绍,在此不做赘述.本篇中涉及的一些关于BP神经网络的概念与基础知识均在< ...
吴恩达《机器学习》学习笔记九——神经网络相关（1）
吴恩达<机器学习>学习笔记九--神经网络相关(1) 一. 非线性假设的问题二. 神经网络相关知识 1.神经网络的大致历史 2.神经网络的表示 3.前向传播:向量化表示三. 例子与直觉理 ...
吴恩达《机器学习》学习笔记十——神经网络相关（2）
吴恩达<机器学习>学习笔记十--神经网络相关(2) 一. 代价函数二. 反向传播算法三. 理解反向传播算法四. 梯度检测五. 随机初始化 1.全部初始化为0的问题 2.随机初始化的 ...
y空间兑换代码_【CV学习笔记】色彩空间
关注"深度学习冲鸭",一起学习一起冲鸭! 设为星标,第一时间获取更多干货作者:云时之间来源:知乎链接:https://zhuanlan.zhihu.com/p/103387082 ...
July深度学习笔记之神经网络与反向传播算法
July深度学习笔记之神经网络与反向传播算法一.神经网络神经网络的大致结构如下: 大致可以分为输入层.隐藏层与输出层. 而我们可以单独拿出来一个结点,可以发现,其实它就是类似一个逻辑回归(LR), ...
吴恩达《机器学习》学习笔记十一——神经网络代码
吴恩达<机器学习>学习笔记十一--神经网络代码数据准备神经网络结构与代价函数· 初始化设置反向传播算法训练网络与验证课程链接:https://www.bilibili.com/v ...
Redis学习笔记-GEO经纬度编码原理地理划分
文章目录 Redis学习笔记-GEO经纬度编码原理&地理划分 1.笔记图 2.GEO 应用场景 3.GEO 数据特点举例 4.GeoHash 的编码方法(二分区间,区间编码) 5.GEO 经纬 ...
CCSA学习笔记第三节防火墙原理与基本配置
CCSA学习笔记第三节防火墙原理与基本配置一.防火墙技术 1.包过滤技术=访问控制列表(第一代防火墙技术)基础的访问控制列表分为两种a.标准的访问控制列表:基于数据包的源IP地址来进行访问控制b ...
宽带接入与无线网络（学习笔记一）——VLAN原理
宽带接入与无线网络(学习笔记一)--VLAN原理 1. VLAN的概念及作用 1.1 VLAN的概念 1.2 VLAN的作用 2. 广播域的分割 2.1为什么需要隔离广播域 2.2 如何分割广播域 3 ...

最新文章

热门文章