感谢 @南方的仔 在评论中的灵魂提问，既然 rescale 是为了“保持期望不变”，那么为什么要“保持期望不变”呢？

我猜测是为了“在 infer 时不进行dropout”。dropout是带有随机性的，如果 infer 也做的话，网络的输出就不稳定。同样一个样本，整体预测结果每次都可能变化。在 infer 不做 dropout 的前提下，保证训练和预测过程的分布一致，而对 infer 进行 rescale。

--------------------------- | 更新分割线 | ---------------------------

dropout 有两种实现方式，Vanilla Dropout和 Inverted Dropout。前者是 原始论文 中的朴素版，后者在 Andrew Ng 的 cs231 课程中有介绍。

其实不仅仅是 rescale，这两个版本在训练(forward)、梯度(backward)和预测(predict)三个阶段都不尽相同。面试官往往喜欢揪着问，来考查细节知识。

输入序列为

，正常的回溯梯度序列为

，假设以丢弃概率 p=0.2 进行伯努利采样得到的 mask 序列

。

如果是 vanilla版本，在 forward 时直接对输入进行遮罩

，在 backward 时梯度和输入保持一致

，在 infer 时进行 1-p 倍的缩小

。你看，训练时候因为随机扔掉了一些节点，总期望变小，那么预测时候就全体缩小一点来保持一致。

这样处理的一个最大问题，就是预测过程需要跟着 dropout 策略做调整，哪些层取消了、加重了或者减轻了，都需要改。一不小心就会出错。

inverted版本顺势而生，把所有的修改都放在训练阶段，保持预测阶段不变。在 forward 时先遮罩再进行 1/(1-p) 的放大

，在 backward 时需要同步修改梯度

，在 infer 时不做额外的处理

。训练时虽然也随机扔掉了一些节点，但是做了 rescale 之后总期望被拉回了原来的水平，训练过程和预测过程仍然是一致的。

目前主流的训练框架，实现的都是 inverted 版本，所以在预测时不需要费心调整，把dropout当作是透明的就可以了。比如 Pytorch 的源码 torch.nn.Dropout(只保留核心部分)，我加了注释：

class Dropout(InplaceFunction):

... ...

@classmethod

def forward(cls, ctx, input, p=0.5, train=False, inplace=False):

ctx.p = p

ctx.train = train

if ctx.p == 0 or not ctx.train: ## infer 阶段保持不变.

return input

output = input.clone()

ctx.noise = cls._make_noise(input) ## 即遮罩 mask.

if ctx.p == 1:

ctx.noise.fill_(0)

else:

ctx.noise.bernoulli_(1 - ctx.p).div_(1 - ctx.p) ## 对 mask 做 1/(1-p)倍的放大

ctx.noise = ctx.noise.expand_as(input)

output.mul_(ctx.noise)

return output

@staticmethod

def backward(ctx, grad_output): ## 梯度回溯

if ctx.p > 0 and ctx.train:

return grad_output * ctx.noise, None, None, None ## 梯度和输入做同样的遮罩和放大

else:

return grad_output, None, None, None