1. 卷积函数tf.nn.conv2d()

tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=True, data_format='NHWC',dilations=[1, 1, 1, 1], name=None)

对于给定的4-D张量输入，利用给定的filter执行2-D卷积运算。

input : [batch, in_height, in_width, in_channels]
filter : [filter_height, filter_width, in_channels, out_channels]
padding: "SAME" / "VALID"
data_format: Defaults to "NHWC".

算法执行过程：
1.filter压平成2D矩阵，[filter_height * filter_width * in_channels, output_channels]
2.input中提取图像块， [batch, out_height, out_width, filter_height * filter_width * in_channels]
3.对于每一个图像块，右乘滤波器矩阵和图像块向量。

实例：

左边代表input：[BatchSize, H, W, in_Channels]=[24,255,255,3];

右侧代表filter：Batch_size*[Filter_H, Filter_W, in_Channels, out_Channels]=[127,127,3,1];

所以，程序循环24次，即可以完成对一个BatchSize=24的卷积/相关操作，输出结果为：

这个过程是比较复杂的，Tensorflow中提供了更好的深度卷积deep_wise_conv2d()函数可以执行类似的功能。

2. 深度卷积tf.nn.depthwise_conv2d()

深度卷积最早出现在Google的Xception系列的文章，具体的算法实现可以参考xf_mao博主的这边文章：https://blog.csdn.net/mao_xiao_feng/article/details/78003476。这里我仅仅应用该函数实现了BatchSize图像的对应(Channel-Wise)卷积工作。

tf.nn.depthwise_conv2d(input, filter, strides, padding, rate=None, name=None, data_format=None)

给定4D的输入张量input=[batch, in_height, in_width, in_channels]，滤波器filter=[filter_height, filter_width, in_channels, channel_multiplier]。该滤波器包括深度为1的in_channels个卷积滤波器。depthwise_conv2d()对每个输入通道(从1到channel_multiplier通道)施加一个不同的filter。然后将输出结果concatenate到一起。输出的通道数=[in_channels * channel_multiplier]。

对照我们的任务。input：[BatchSize, H, W, in_Channels]=[24,255,255,3]; filter：Batch_size*[Filter_H, Filter_W, in_Channels, out_Channels] = [127,127,3,1]; 如果想实现对应图层采用对应核图像进行卷积[Channel-Wise]，我们需要将input和filter的shape进行调整。具体为 input=[1, H, W, BatchSize*in_Channels]; filter=[Filter_H, Filter_W, Batch_Size*in_Channels,1].

核心代码：

Bz, Hz, Wz, Cz = z.shape
Bx, Hx, Wx, Cx = x.shape;
zf = tf.reshape(zf, (Hz, Wz, Bz*Cz, 1))
xf = tf.reshape(xf, (1, Hx, Wx, Bx*Cx))
print("zf= ", zf.get_shape().as_list(), "    ", "xf=", xf.get_shape().as_list())res_ = tf.nn.depthwise_conv2d(xf, zf, strides=[1,1,1,1], padding='VALID')
res_ = tf.concat(tf.split(res_, 24, axis=3), axis=0)
res_ = tf.reduce_mean(res_, axis=3, keep_dims = False)
print("the results of deep_wise_conv2d:", res_.get_shape().as_list())

输出结果和循环tf.nn.conv2d()的结果一致。

3. 关于mini-batch的作用

3.1 为什么需要有 Batch_Size 这个参数?

合理的范围，越大的 batch size 使下降方向越准确，震荡越小
batch size 过大，各batch梯度修正值可能消失，出现取得局部最优的情况
bath size 过小，引入的随机性更大，难以达到收敛，极少数情况下可能会效果变好

Batch的选择决定了优化函数梯度的下降方向。如果数据集比较小，完全可以采用全数据集 ( Full Batch Learning )的形式，这样做至少有 2 个好处：

由全数据集确定的方向能够更好地代表样本总体,从而更准确地朝向极值所在的方向
由于不同权重的梯度值差别巨大，因此选取一个全局的学习率很困难。Full Batch Learning 可以使用Rprop只基于梯度符号并且针对性单独更新各权值。

对于类似于ImageNet等超大数据集，以上 2 个好处又变成了 2 个坏处：

随着数据集的海量增长和内存限制,一次性载入所有的数据进来变得越来越不可行
以 Rprop 方式迭代，由于各个 Batch 间的采样差异，各次梯度修正值相互抵消，这才有了后来RMSProp的妥协

如果每次只训练一个样本,即 Batch_Size = 1。这就是在线学习(Online Learning)。线性神经元在均方误差代价函数的错误面是一个抛物面,横截面是椭圆。对于多层神经元、非线性网络,在局部依然近似是抛物面。使用在线学习,每次修正方向以各自样本的梯度方向修正,横冲直撞各自为政,难以达到收敛。如上图所示。

3.2 Mini-Batch 可以解决什么问题？

如果数据集足够充分,那么用一半(甚至少得多)的数据训练算出来的梯度与用全部数据训练出来的梯度是几乎一样的。这就是批梯度下降法(Mini-batches Learning)。

在合理范围内,增大 Batch_Size 有何好处?内存利用率提高了,大矩阵乘法的并行化效率提高。跑完一次 epoch(全数据集)所需的迭代次数减少,对于相同数据量的处理速度进一步加快。在一定范围内,一般来说 Batch_Size 越大,其确定的下降方向越准,引起训练震荡越小。盲目增大 Batch_Size 有何坏处?内存利用率提高了,但是内存容量可能撑不住了。跑完一次 epoch(全数据集)所需的迭代次数减少,要想达到相同的精度,其所花费的时间大大增加了,从而对参数的修正也就显得更加缓慢。

3.3 调节 Batch_Size 对训练效果影响到底如何?

Batch_Size 增大到一定程度,其确定的下降方向已经基本不再变化。调节 Batch_Size 对训练效果影响到底如何? 这里展示了在 MNIST 数据集上的效果。如图所示:

算法架构：

Batch_Size对训练结果的影响：

结论：

Batch_Size 太小,算法在 200 epoches 内不收敛。
随着 Batch_Size 增大,处理相同数据量的速度越快。
随着 Batch_Size 增大,达到相同精度所需要的 epoch 数量越来越多。
由于上述两种因素的矛盾, Batch_Size 增大到某个时候,达到时间上的最优。由于最终收敛精度会陷入不同的局部极值,因此 Batch_Size 增大到某些时候,达到最终收敛精度上的最优。

tf.nn.conv2d() / tf.nn.depthwise_conv2d() 和 Batchsize效益相关推荐

通俗理解tf.nn.conv2d() tf.nn.conv3d( )参数的含义 pytorhc 卷积
20210609 例如(3,3,(3,7,7))表示的是输入图像的通道数是3,输出图像的通道数是3,(3,7,7)表示过滤器每次处理3帧图像,卷积核的大小是3 x 7 x 7. https://blo ...
PyTorch学习笔记（1）nn.Sequential、nn.Conv2d、nn.BatchNorm2d、nn.ReLU和nn.MaxPool2d
文章目录一.nn.Sequential 二.nn.Conv2d 三.nn.BatchNorm2d 四.nn.ReLU 五.nn.MaxPool2d 一.nn.Sequential torch.nn. ...
PyTorch中 nn.Conv2d与nn.ConvTranspose2d函数的用法
原文链接 1. 通道数问题 : 描述一个像素点,如果是灰度,那么只需要一个数值来描述它,就是单通道.如果有RGB三种颜色来描述它,就是三通道.最初输入的图片样本的 channels ,取决于图片类型: ...
pytorch笔记（四）nn.Conv1d、nn.Conv2d、nn.Conv3d
概念: nn.Conv1d:常用在文本 (B,C,L) (batch,channel,sequence_len) (批数量,通道数,句子长度) nn.Conv2d:常用在图像 (B,C,H,W) (b ...
tf.nn.conv2d 与tf.layers.conv2d的区别
1. tf.nn.conv2d tf.nn.conv2d(input, # 张量输入filter, # 卷积核参数strides, # 步长参数padding, # 卷积方式use_cudnn_on_ ...
TensorFlow学习笔记（十七）tf.nn.conv2d
在给定的4D input与filter下计算2D卷积输入shape为[batch, height, width, in_channels] TensorFlow的CNN代码中有 tf.nn.conv2 ...
tf.nn 和tf.layers以及tf.contrib.layers的简单区别（转）
tensorflow不同层的使用(tf.nn 和tf.layers以及tf.contrib.layers)的简单区别(转) 2018年09月02日 18:50:33 holmes_MX 版权声明:原创 ...
tensorflow学习（一）——有关tensorflow不同层的使用（tf.nn 和tf.layers以及tf.contrib.layers）的简单区别
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/holmes_MX/article/de ...
matlab中conv滤波,其中是Matlab（imfilter）和TensorFlow中偶数滤波器（6x6）的中心像素(转速表nn.conv2d)?...
在我的硕士论文中,我正在将一个卷积操作从一个Matlab代码移植到TensorFlow(pythonapi)中.例外的是,在Matlab中使用了一个均匀的滤波器大小(6x6).在通过调试Matlab ...

tf.nn.conv2d() / tf.nn.depthwise_conv2d() 和 Batchsize效益