卖萌屋的妹子们（划掉）作者团整理的算法工程师思维导图，求职/自我提升/查漏补缺神器。该手册一共分为数据结构与算法、数学基础、统计机器学习和深度学习四个部分。

下面是第三部分深度学习的内容~

公众号后台回复【思维导图】获取完整手册（Xmind脑图源文件，学习起来更方便(ง •_•)ง

编码器

• DNN

• • 反向传播

  • 梯度消失与爆炸

    反向传播到梯度消失爆炸
    https://zhuanlan.zhihu.com/p/76772734

    原因：

    本质上是因为梯度反向传播中的连乘效应。其实梯度爆炸和梯度消失问题都是因为网络太深，网络权值更新不稳定造成的

    激活函数导数*权值<1，多个小于1的数连乘之后，那将会越来越小，导致靠近输入层的层的权重的偏导几乎为0，也就是说几乎不更新，这就是梯度消失的根本原因。连乘下来就会导致梯度过大，导致梯度更新幅度特别大，可能会溢出，导致模型无法收敛。

    解决方案：

    梯度爆炸：正则化/截断 梯度消失：

    1.改变激活函数：relu（tanh导数也小于1），但会出现dead relu

    2.batchnorm：使权值w落在激活函数敏感的区域，梯度变化大，避免梯度消失，同时加快收敛

    3.残差结构：求导时总有1在

• CNN

• • 归纳偏置：locality & spatial invariance

  • 1*1卷积核

    作用：1.升维降维(in_channel -> out_channel) 2.非线性 与全连接层的区别：输入尺寸是否可变，全连接层的输入尺寸是固定的，卷积层的输入尺寸是任意的

  • 反向传播

    通过平铺的方式转换成全联接层

    https://zhuanlan.zhihu.com/p/81675803

    avg pooling：相当于成了w = [1/4, 1/4, 1/4, 1/4]

  • 稀疏交互与权重共享

    每个输 出神经元仅与前一层特定局部区域内的冲经元存在连接权重 在卷积神经网络中，卷积核中的 每一个元素将作用于每一次局部输入的特定位置上 参数共享的物理意义是使得卷积层具高平移等变性。假如图像中有一 只猫，那么无论百出现在图像中的任何位置 3 我们都应该将 '8i只别为猫 在猫的 圄片上先进行卷积，再向右平移 l像素的输出，与先将圄片向右平移 J像 素再进行卷积操作的输出结果是相等的。

  • 池化本质：降采样

    平均池化：避免估计方差增大，对背景对保留效果好 最大池化：避免估计均值偏移，提取纹理信息

    油化操作除了能显著降低参数量外，还能够保持对平移、伸缩、旋 转操作的不变性。

• RNN

  https://zhuanlan.zhihu.com/p/34203833

• • 归纳偏置：sequentiality & time invariance

  • BPTT

  • 梯度消失与爆炸

    原因:

    https://zhuanlan.zhihu.com/p/76772734
    DNN中各个权重的梯度是独立的，该消失的就会消失，不会消失的就不会消失。RNN的特殊性在于，它的权重是共享的。当距离长了，最前面的导数就会消失或爆炸，但当前时刻整体的梯度并不会消失，因为它是求和的过程。RNN 所谓梯度消失的真正含义是，梯度被近距离梯度主导，导致模型难以学到远距离的依赖关系。

    解决方案: LSTM长时记忆单元

  • LSTM

    消失：通过长时记忆单元，类似残差链接。但后来加了遗忘门，遗忘门介于0-1，梯度仍有可能消失 爆炸：梯度仍可能爆炸，但LSTM机制复杂，多了一层激活函数sigmoid，可以通过正则与裁剪解决https://zhuanlan.zhihu.com/p/30465140

    各模块可以使用其他激活函数吗？

    sigmoid符合门控的物理意义 tanh在-1到1之间，以0为中心，和大多数特征分布吻合，且在0处比sigmoid梯度大易收敛

    一开始没有遗忘门，也不是sigmoid，后来发现这样效果好

    relu的梯度是0/1，1的时候相当于同一个矩阵W连成，仍旧会梯度消失或爆炸的问题

    综上所述，当采用 ReLU 作为循环神经网络中隐含层的激活函数时，只有当 W的取值在单位矩阵附近时才能取得比较好的效果，因此需要将 W初始化为单位矩阵。实验证明，初始化 W为单位矩阵并使用 ReLU 激活函数在一些应用中取得了与长短期记忆模型相似的结果.

  • GRU要点：结构、与LSTM的异同

• Transformer

• • 结构

  • QK非对称变换

    双线性点积模型，引入非对称性，更具健壮性（Attention mask对角元素值不一定是最大的，也就是说当前位置对自身的注意力得分不一定最高）。

  • Scaled Dot Product

    为什么是缩放点积，而不是点积模型？当输入信息的维度 d 比较高，点积模型的值通常有比较大方差，从而导致 softmax 函数的梯度会比较小。因此，缩放点积模型可以较好地解决这一问题。

    相较于加性模型，点积模型具备哪些优点？常用的Attention机制为加性模型和点积模型，理论上加性模型和点积模型的复杂度差不多，但是点积模型在实现上可以更好地利用矩阵乘积，从而计算效率更高（实际上，随着维度d的增大，加性模型会明显好于点积模型）。

  • Multi-head

    https://zhuanlan.zhihu.com/p/76912493

    多头机制为什么有效？

    1.类似于CNN中通过多通道机制进行特征选择；

    2.Transformer中先通过切头（spilt）再分别进行Scaled Dot-Product Attention，可以使进行点积计算的维度d不大（防止梯度消失），同时缩小attention mask矩阵。

  • FFN

    Transformer在抛弃了 LSTM 结构后，FFN 中的 ReLU成为了一个主要的提供非线性变换的单元。

激活函数

https://zhuanlan.zhihu.com/p/73214810

• tanh

  相比Sigmoid函数， tanh的输出范围时(-1, 1)，解决了Sigmoid函数的不是zero-centered输出问题；幂运算的问题仍然存在；tanh导数范围在(0, 1)之间，相比sigmoid的(0, 0.25)，梯度消失（gradient vanishing）问题会得到缓解，但仍然还会存在。

  要点: Xavier初始化、公式、导数

• relu

  相比Sigmoid和tanh，ReLU摒弃了复杂的计算，提高了运算速度。解决了梯度消失问题，收敛速度快于Sigmoid和tanh函数

  缺点：爆炸梯度(通过梯度裁剪来解决) 如果学习率过大，会出现dead relu的不可逆情况 — 激活为0时不进行学习(通过加参数的ReLu解决) 激活值的均值和方差不是0和1。(通过从激活中减去约0.5来部分解决这个问题。在fastai的视频力有个更好的解释)

  Leaky relu：增加了参数要点：He初始化、公式、导数

• gelu

  https://zhuanlan.zhihu.com/p/100175788

  https://blog.csdn.net/liruihongbob/article/details/86510622

  ReLu：缺乏随机因素，只用0和1

  https://www.cnblogs.com/shiyublog/p/11121839.html

  GeLu：在激活中引入了随机正则的思想，根据当前input大于其余inputs的概率进行随机正则化，即为在mask时依赖输入的数据分布，即x越小越有可能被mask掉，因此服从bernoulli(Φ(x))

  高斯误差线性单元：

  对于每一个输入 x，其服从于标准正态分布 N(0, 1)，它会乘上一个伯努利分布 Bernoulli(Φ(x))，其中Φ(x) = P(X ≤ x)。这么选择是因为神经元的输入趋向于正太分布，这么设定使得当输入x减小的时候，输入会有一个更高的概率被dropout掉。

  Gelu(x) = xΦ(x) = xP(X ≤ x)

• sigmoid

  激活函数计算量大（在正向传播和反向传播中都包含幂运算和除法）；

  反向传播求误差梯度时，求导涉及除法；

  Sigmoid的输出不是0均值（即zero-centered）；这会导致后一层的神经元将得到上一层输出的非0均值的信号作为输入，随着网络的加深，会改变数据的原始分布

  优点：

  激活函数计算量大（在正向传播和反向传播中都包含幂运算和除法）；反向传播求误差梯度时，求导涉及除法；Sigmoid的输出不是0均值（即zero-centered）；这会导致后一层的神经元将得到上一层输出的非0均值的信号作为输入，随着网络的加深，会改变数据的原始分布

• softmax

  sigmoid是softmax的特例：

  https://blog.csdn.net/weixin_37136725/article/details/53884173

损失函数

• 分类

• • 0-1 loss

  • hinge loss

  • sigmoid loss

  • cross entropy

    求导：
    https://zhuanlan.zhihu.com/p/60042105

• 回归

• • square loss

    对异常点敏感

  • absolute loss

    对异常点鲁棒，但是y=f时不可导

  • Huber loss

优化算法

• 求解析解：凸函数

• 迭代法

• • 一阶法：梯度下降

    https://zhuanlan.zhihu.com/p/111932438

    SGD：

    数据要shuffle 一开始重j去采用较大的学习速率 ，当误差曲线进入平台期后，;成小学习速菜做更精细的调整。最优的学习速 率方案也通常需要调参才能得到。

    随机梯度下降法无法收敛 1.batch size太小，震荡 2.峡谷和鞍点

    Adam：

    指数加权：

    1.不用像mean一样统计个数重新计算avg

    2.历史久远的权重会呈指数衰减

    动量=惯性保持：累加了之前步的速度

    1.增强了整体方向的速度，加快收敛

    2.消减了错误方向的速度，减少震荡

    AdaGrad=环境感知：根据不同参数的一些经验性判断，自适应地确定参数的学习速率，不同参数的重新步幅是不同的。

    1.更新频率低的参数可以有较大幅度的更新，更新频率高的步幅可以减小。AdaGrad方法采用 “历史梯度平方和”来衡量不同参数的梯度的稀疏性 3 取值越小表明越稀疏

    参数中每个维度的更新速率都不一样！！！

    2.随着时间的推移，学习率越来越小，保证了结果的最终收敛

    缺点：即使Adam有自适应学习率，也需要调整整体学习率（warmup）

    AdamW是Adam在权重上使用了L2正则化，这样小的权重泛化性能更好。

  • 二阶法：牛顿法

    在高维情况下， Hessian ~E 阵求逆的计算复杂度很大 3 而且当目标函数非口时，二阶法有可能会收 敛到鞍点( Saddle Point ) 。

    鞍点：一个不是局部最小值的驻点（一阶导数为0的点）称为鞍点。数学含义是：目标函数在此点上的梯度（一阶导数）值为 0， 但从改点出发的一个方向是函数的极大值点，而在另一个方向是函数的极小值点。

正则化

• 修改数据

• • 增加数据

  • label smoothing

• 修改结构：Normalisation

• • Batchnorm：

    为什么对NN层中归一化？

    随着网络训练的进行 ， 每个隐层的参数变化使得后一层的输入 发生变化 3 从而每-批训练数据的分布也随之改变 3 致使网络在每次迭 代中都需要拟合不罔的数据分布，增大训练的复杂度以及过拟合的风险。

    为什么增加新的分布？

    以Sigmoid函数为例，批量归一化 之后数据整体处于函数的非饱和区域，只包含线性变躁，破坏了之前学 习到的特征分布 。

    在CNN的应用：

    在全连接网络中是对每个神经元进行归一化，也就是每个神经元都会学习一个γ和β。批量归一化在卷积神经网络中应用时，需要注意卷积神经网络的参数共享机制 。每一个卷积核的参数在不同位置的楠经元当中是共享 的， 因此也应该被一起归一化。在卷积中，每层由多少个卷积核，就学习几个γ和β

    预测：

    在预测时无法计算均值和方差，通常需要在训练时根据mini-batch和指数加权平均计算，直接用于预测

  • Layernorm

    对比BatchNorm：

    1.对于RNN来说，sequence的长度是不一致的，换句话说RNN的深度不是固定的，不同的time-step需要保存不同的statics特征，可能存在一个特殊sequence比其他sequence长很多，这样training时，计算很麻烦。

    2.不依赖batch size：在hidden size的维度进行layernorm，跟batch和seq_len无关。beta和gamma的维度都是(hidden_size,)，每个神经元有自己的均值和方差，因为不同单元是不同的feature，量纲不一样。normalisaion通常在非线性函数之前，LN在BERT中主要起到白化的作用，增强模型稳定性（如果删除则无法收敛）。

• 修改结构：Dropout

  本质上是模型集成。

  实现：1.训练时不动，预测时乘p 2.反向传播传播时除p，预测不动。

• 修改结构：weight decay

  在更新w时减去一个常数，跟L2求导之后的公式一致
  https://bbabenko.github.io/weight-decay/

• Weight decay和L2正则在SGD情况下等价，Adam下不等：https://zhuanlan.zhihu.com/p/40814046

  权重越大惩罚应该越大，但adam的adagrad调整使得惩罚变小

• 修改结构：正则项

• • L1

    稀疏解的好处：1.特征选择，减少计算 2.避免过拟合，增强鲁棒性

    解空间的解释：加上了菱形约束，容易在尖角处碰撞出解

    贝叶斯角度解释：加了laplace分布，在0点的概率要更高

  • L2

    解空间角度：加了球形约束，等高线切在圆上贝叶斯角度：加了高斯分布，在0点附近的概率更大且相近

• 训练技巧

• • early stopping

  • warmup

    刚开始小一些，防止对前几个batch的过拟合，之后见过了不少数据，可以慢慢升高。之后参数基本上稳定了，就小学习率精细调整。

公众号后台回复【思维导图】获取完整手册（Xmind脑图源文件，学习起来更方便(ง •_•)ง