stride padding_关于Padding实现的一些细节

Padding的值

Padding是指在向量的每一维前后填充一定大小的边界，其常用于在卷积和池化这种具有“滤波”窗口的运算中，以调整输出大小、防止个别数据的丢弃

需要注意的是，Padding并不是真的在向量的前后填充了值，而只是标记了padding的位置

卷积和池化在计算时，会先确定滤波窗口的位置，窗口中如果包含了padding，则padding部分并不参与计算

举一个例子来说明这样处理的合理性

假设在做最大池化，向量的形状如上图，末尾有一padding

如果padding有具体的值，比如说0，则这个窗口的输出就为0，padding的值影响了输出的结果，而舍弃了源数据，这与paddding运算的目的相悖

如果padding的值是一个非常小的值，假设是负无穷，在上面的情形下看似不影响结果，但是无法适用于更多的情况，比如卷积，比如平均池化。所以padding不参与计算也有利于实现上的解耦，显然也更节省内存

Padding模式

Padding运算作用于输入向量的每一维，每一维的操作都是一致的，所以理解Padding的操作，只需要理解一维向量的padding过程

假设一个一维向量，输入形状为input_size，经过滤波操作后的输出形状为output_size，滤波窗口为filter_size，需要padding的个数为padding_needed，滤波窗口滑动步长为stride，则之间满足关系：

由公式可知，指定padding_needed可以确定output_size的值，反过来，如果已知输出的形状，则进而可以确定padding的数量。

这是两种处理padding的方案，pytorch采用的是第一种，即在卷积或池化时先确定padding数量，自动推导输出形状；tensorflow和caffe采用的是更为人熟知的第二种，即先根据Valid还是Same确定输出大小，再自动确定padding的数量

Valid和Same是预设的两种padding模式，Valid指不padding，same指输出大小尽可能和输入大小成比例

下面是tensorflow计算padding的代码：

void

其中考虑了空洞卷积的情况（dilation），所以稍微复杂一些

另外需要格外注意的，代码中计算了padding_after和padding_before两个值，是指要将padding_needed平均分配到向量的两侧。这就引出一个问题，当padding_needed是奇数时，是在前pad多一些，还是在后面pad多一些？

Padding前后

tensorflow特别指出，当padding个数为奇数时，需要在后面多padding一些

caffe则跟tensorflow相反，caffe采用对称padding，相当于会将多余的padding分配给前面

为了兼容两种框架，需要根据配置对padding的策略进行调整

下面解释CUDNN如何调整padding分配的策略

以池化举例，CUDNN池化kernel的参数有：

handleInput. Handle to a previously created cuDNN context.
poolingDescInput. Handle to a previously initialized pooling descriptor.
alpha, betaInput. Pointers to scaling factors (in host memory) used to blend the computation result with prior value in the output layer as follows: dstValue = alpha[0]*result + beta[0]*priorDstValue. Please refer to this section for additional details.
xDescInput. Handle to the previously initialized input tensor descriptor.
xInput. Data pointer to GPU memory associated with the tensor descriptor xDesc.
yDescInput. Handle to the previously initialized output tensor descriptor.
y
Output. Data pointer to GPU memory associated with the output tensor descriptor yDesc.

CUDNN首先需要先制定输入形状和输出形状，xDesc指定了输入向量的形状，ydesc指定了输出向量的形状

然后CUDNN又通过poolingdesc指定了每一维padding_before的值

所以根据公式可以自然推导padding_after的值