本文主要针对Wavelet pooling for convolutional neural networks，ICLR 2018. 简而言之，我认为这篇文章存在一些问题，当然可能是自己理解有误。于是把自己的看法分享出来，希望各位批评指正。

论文地址：

Wavelet Pooling for Convolutional Neural Networks​openreview.net

论文讲了什么？

首先，池化是以舍弃信息来实现正则化的效果。传统的池化操作有问题。max pooling, average pooling和probabilistic pooling都有一些局限性。例如，当主要的特征幅度值低于不重要的特征时，重要的特征在max pooling中就丢失了。而average pooling接收了幅值大的特征和幅值小的特征，会稀释幅值大的特征。具体如图所示，

于是相对于traditional neighborhood pooling，这篇文章从wavelet domain进行操作。具体来说，首先介绍了如何变换到wavelet domain，

这两个公式(6) (7)分别是小波变换的近似函数和细节函数，分别用于计算输入map的低频子带和高频子带。二维的输入分别在行方向和列方向应用这两个公式，于是得到四个子带LL，LH，HL和HH。其中LL表示低频特征，其余带H的表示高频特征。由于小波变换引入了下采样，因此四个子带map的边长是输入的一半。反变换可以将四个子带完美地重建出输入。

小波变换可以进行多级。对于输入map I，一级小波变换记为

LL1, LH1, HL1, HH1 = DWT(I)

对应的逆变换为

I = IDWT(LL1, LH1, HL1, HH1)

二级小波变换针对LL1，为

LL2, LH2, HL2, HH2 = DWT(LL1)

对应的逆变换为

LL1 = IDWT(LL2, LH2, HL2, HH2)

介绍完这些基本知识，来看文章的方法是怎样的：

文章没有给出公式表达，我用公式总结一下。对于输入图像I，进行两级小波变换，得到了

LL2, (LH2, HL2, HH2), (LH1, HL1, HH1) = DWT(DWT(I))

舍弃最高频的子带LH1, HL1和HH1，保留相对低频的LL2, (LH2, HL2, HH2)。最后对保留的二级小波系数进行反变换重建池化后的图像，即

I‘ = IDWT(LL2, LH2, HL2, HH2)

根据之前对小波变换的介绍，不难发现I‘=LL1。所以为什么要对输入图像I进行两次小波变换，再进行一次逆变换呢？进行一次小波变换，舍弃(LH1, HL1, HH1)，保留LL1不就完成了小波池化吗？这两种做法有什么区别？我是觉得完全相同。

另外一个槽点在于，文章的实验只使用了Haar小波基。Haar小波基产生的LL1分量对应的卷积核为[[1, 1], [1, 1]]，这和average pooling没有任何区别呐。文章开始说average pooling具有的缺点，文章实验用的方法也逃不掉。然后，实验结果是不相同的。

当然这个思路(进行一次小波变换，舍弃(LH1, HL1, HH1)，保留LL1)已经发表在了ECCV 2018 Workshop了，论文题目为Multiple Wavelet Pooling for CNNs。另外Haar小波基等同于average pooling的问题也被消除了——该文选取了两种不同的小波基做pooling然后concat起来。这样，就算用了Haar小波基，另一个小波基也能产生不同于average pooling的效果。

Multiple Wavelet Pooling的故事听着合理多了，但我仍然想不明白Wavelet Pooling的作者为什么要做两次正再做一次逆变换，是不是有什么理解不到位的地方，于是抱着求证的心态就去联系作者了。为了更高效的交流，我把自己的理解拆分成yes或no的选择来征求作者的意见。例如，我这样理解wavelet pooling是否正确，haar-based wavelet pooling和average pooling的输出是否相等，如果只用haar bases的话wavelet pooling和multiple wavelet pooling输出相同等等。作者没有正面回复所有问题，而是回答的比较宏观，给了几张图像（分别是wavelet pooling的输出，average pooling的输出）和对应代码，通过这几张图的不同来说明haar wavelet pooling和average pooling是不相同的。但我检查了代码，发现wavelet pooling的小波基参数是'db2'而非‘haar’小波基，这结果当然是不同的。于是我将修改成haar小波基的结果（跟average pooling相同）反馈给他并指出代码的问题。这轮依然没有正面回应yes或no的问题，而是

感觉作者并不想理我了 。作为一个强迫症，就把自己的想法分享出来，想和大家讨论确认下。

Reference:

[1] Williams, Travis, and Robert Li. "Wavelet pooling for convolutional neural networks." ICLR2018.

[2] Liu, Pengju, et al. "Multi-level wavelet-CNN for image restoration."Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. 2018.