深度学习中的核心知识

前向运算

计算输出值的过程称为前向传播

前提：网络结构已知（两个方面：1. 每个层的构造卷积/池化 2. 每个层的参数）
难点：1.f函数如何定义 2.每层的参数（通过反向传播来计算）

反向传播（BP算法）

神经网络（参数模型）训练方法

解决神经网络优化问题
计算输出层结果与真实值之间的偏差来进行逐层调节参数（梯度下降）

神经网络参数训练是一个不断迭代的过程

参数更新多少？

参数优化问题（迭代）
利用有标签的样本x和y
求解 loss=（估计值 - 真实值）2^22 的最小值
对w求导
导数和学习率（梯度下降算法）

什么是梯度

函数在A点无数个变化方向中变化最快的那个方向

梯度下降算法

沿着导数下降的方法，进行参数更新
选择合适的步长、学习率
局部最优解

常见的深度学习模型

卷积神经网（CNN）
循环神经网（RNN）
自动编码机（Autoencoder）
Restricted Boltzmann Machines(RBM, 受限玻尔兹曼机)
深度信念网络（DBN，Deep Belid Network）

深度学习中的核心知识相关推荐

深度学习中的线性代数知识详解
1. 基础概念标量(scalar) 一个标量就是一个单独的数,一般用小写的的变量名称表示. 向量(vector) 一个向量就是一列数,这些数是有序排列的: ⎡⎣⎢⎢⎢⎢x1x2...x5⎤⎦⎥⎥⎥⎥ ...
在机器学习or深度学习中引入先验知识
问题来源: <Predicting optimal deep brain stimulation parameters for Parkinson's sieases using functio ...
什么是深度学习中的先验知识
深度学习中的强化学习和对抗学习
在人工智能中,有两个十分重要的内容,第一就是机器学习,第二就是深度学习.正是由于机器学习与深度学习,人工智能才能够帮助我们做出更多的事情.其实,深度学习也是有分类的.深度学习可以分为两种,一种是强化学 ...
深度学习中的梯度下降算法
深度学习中的梯度下降算法梯度下降算法-----致力于找到函数极值点的算法,深度学习中的核心算法. 所谓的学习便是改进模型参数,以便通过大量训练步骤将损失最小化. 有了这个概念,将梯度下降法应用于寻找 ...
深度学习中所需的线性代数知识
原址每个深度学习项目背后的数学知识. 深度学习是机器学习的一个子领域,涉及一些模仿人脑结构和功能的人工神经网络算法. 线性代数是一种连续的而非离散的数学形式,许多计算机科学家对它几乎没有经验.对于理 ...
深度学习中的知识蒸馏技术(下)
本文概览: 写在前面: 这是一篇介绍知识蒸馏在推荐系统中应用的文章,关于知识蒸馏理论基础的详细介绍,请看我的这篇文章: 深度学习中的知识蒸馏技术(上) 1. 背景介绍 1.1 简述推荐系统架构如果从 ...
机器学习知识总结 —— 12. 机器与深度学习中常用术语 [D-J]
文章目录 Darknet Data / 数据 Dataset / 数据集 Deploy / 部署 Differentiable / 可微的 Distributed / 分布式 Domain Speci ...
深度学习中的3个秘密：集成、知识蒸馏和蒸馏
作者:Zeyuan Allen-Zhu 来源:AI公园编译:ronghuaiyang 在现在的标准技术下,例如过参数化.batch-normalization和添加残差连接,"现代&quo ...

深度学习中的核心知识

深度学习中的核心知识

前向运算

反向传播（BP算法）

常见的深度学习模型

深度学习中的核心知识相关推荐

最新文章

热门文章