深度学习知识点总结：深度学习常用公式总结

2024-05-19 10:16:19

深度学习知识点总结

专栏链接:
深度学习知识点总结_Mr.小梅的博客-CSDN博客
本专栏主要总结深度学习中的知识点，从各大数据集比赛开始，介绍历年冠军算法；同时总结深度学习中重要的知识点，包括损失函数、优化器、各种经典算法、各种算法的优化策略Bag of Freebies (BoF)等。

本章介绍深度学习中的常用公式

目录

2.1 常用公式

2.1.1 卷积计算方式

2.1.2 常用导数计算公式

2.1.3 常用公式

2.1 常用公式

2.1.1 卷积计算方式

bs:batchsize in_c:输入通道 h/w:输入尺寸 k:卷积核数 p:padding s:步长 out_c:输出通道

2.1.2 常用导数计算公式

2.1.3 常用公式

Sigmoid.

取值范围：(-∞,+∞)，值域：(0,1)。属于激活函数。

计算one-hot中的二分类，可用于单标签二分类任务和多标签多分类任务中，模型预测的每个值指的是某个类别的概率，各个预测结果之间互不干扰。

例如某个模型输出：[[-0.3,0.1,0.6]]，sigmoid计算后：[[0.4256, 0.5250, 0.6457]]

可以把sigmoid的计算结果看成是对某个类别的预测概率，值越趋近于1越说明属于该类别的概率大。

Sigmoid计算应用于BCELoss中。

Softplus

取值范围：(-∞,+∞)，值域：(0,+∞)，属于激活函数。

Softmax

取值范围：(-∞,+∞)，值域：(0,1)。

也称之为归一化指数函数。一般用于单标签分类任务中，模型预测的结果中，只取预测结果最大的那一个，各个预测值之间相互影响，所有预测值相加为1。

例如某个模型输出：[[-0.3,0.1,0.6]]，Softmax计算后：[[0.2020, 0.3013, 0.4967]]

预测的结果中哪个值大，代表属于该类别的概率大。

LogSoftmax

把公式展开计算如下，其中M为x中最大的值，具体如下：

$e^{x}$

log(x)

深度学习知识点总结：深度学习常用公式总结相关推荐

Django学习知识点、路线图、资料总结大全，建议收藏！
大家好,我是辣条. 之前更新的都是爬虫实战项目,有反馈比较好的,也有阅读量比较低的,总的来说文章内容还是比较单一的,主要纠结于是走基础纯技术输出,还是输出一些实战项目.如果大家希望我更多去更新Pyth ...
深度学习知识点全面总结
神经网络与深度学习结构(图片选自<神经网络与深度学习>一邱锡鹏) 目录常见的分类算法一.深度学习概念 1.深度学习定义 2.深度学习应用 3.深度学习主要术语二.神经网络基础 1. ...
视频教程-小白学习课程：梯度下降算法与公式详细推导-深度学习
小白学习课程:梯度下降算法与公式详细推导国内"双一流"大学博士研究生,计算机专业,研究方向和兴趣包括人工智能,深度学习,计算机视觉,群体智能算法,元胞自动机等,愿意分享自己的技术 ...
深度学习知识点总结-激活函数
深度学习知识点总结专栏链接: https://blog.csdn.net/qq_39707285/article/details/124005405 本专栏主要总结深度学习中的知识点,从各大数据集比 ...
机器学习——神经网络、深度学习知识点总结及面试题汇总
1.反向传播思想: 计算出输出与标签间的损失函数值,然后计算其相对于每个神经元的梯度,根据梯度方向更新权值. (1)将训练集数据输入到ANN的输入层,经过隐藏层,最后达到输出层并输出结果,这是ANN的 ...
Deep Learning（深度学习）学习笔记整理系列之常用模型
Deep Learning(深度学习)学习笔记整理系列之常用模型(四.五.六.七) 九.Deep Learning的常用模型或者方法 9.1.AutoEncoder自动编码器 Deep Learnin ...
深度学习初学者，如何下载常用公开数据集并使用呢？
深度学习初学者,如何下载常用公开数据集并使用呢? 1.前言 2.官方文档怎样看 3.动手写代码 4.如何可视化遇到问题:ssl.SSLCertVerificationError: [SSL: CER ...
计算机视觉 | 面试题：06、ReLU函数在0处不可导，为什么在深度学习网络中还这么常用?
问题 ReLU函数在0处不可导,为什么在深度学习网络中还这么常用? 问题背景这是在阿里的机器学习岗一面的时候问的一个问题,最开始的问题是"为什么机器学习中解决回归问题的时候一般使用平方损失 ...
【深度学习知识点扫盲】病态、病态条件
[深度学习知识点扫盲]病态.病态条件文章目录 [深度学习知识点扫盲]病态.病态条件花书内容 1. 概念定义 1.1 病态/ 良态问题 1.2 适定/ 非适定问题 2.数学解释 2.1 良态/病态矩 ...

最新文章

热门文章