前言

读TensorFlow相关代码看到了STN的应用，搜索以后发现可替代池化，增强网络对图像变换(旋转、缩放、偏移等)的抗干扰能力，简单说就是提高卷积神经网络的空间不变性。

国际惯例，参考博客：

理解Spatial Transformer Networks

github-STN

Deep Learning Paper Implementations: Spatial Transformer Networks - Part I

Deep Learning Paper Implementations: Spatial Transformer Networks - Part II
将STN加入网络训练的一个关于图像隐写术的案例:StegaStamp

理论

图像变换

因为图像的本质就是矩阵，那么图像变换就是矩阵变换，先复习一下与图像相关的矩阵变换。假设MMM为变换矩阵，NNN为图像，为了简化表达，设MMM的维度是(2,2)(2,2)(2,2)，NNN代表像素点坐标，则维度是(2,1)(2,1)(2,1)，以下操作均为对像素位置的调整操作，而非对像素值的操作。

缩放
M×N=[p00q]×[xy]=[pxqy]M\times N=\begin{bmatrix} p&0\\ 0&q \end{bmatrix}\times \begin{bmatrix} x\\y \end{bmatrix}=\begin{bmatrix} px\\qy \end{bmatrix} M×N=[p00q]×[xy]=[pxqy]
旋转：绕原点顺时针旋转θ\thetaθ角
M×N=[cos⁡θ−sin⁡θsin⁡θcos⁡θ]×[xy]=[xcos⁡θ−ysin⁡θxsin⁡θ+ycos⁡θ]M\times N=\begin{bmatrix} \cos\theta&-\sin\theta\\ \sin\theta&\cos\theta \end{bmatrix}\times \begin{bmatrix} x\\y \end{bmatrix}=\begin{bmatrix} x\cos\theta-y\sin\theta\\x\sin\theta+y\cos\theta \end{bmatrix} M×N=[cosθsinθ−sinθcosθ]×[xy]=[xcosθ−ysinθxsinθ+ycosθ]
错切(shear)：类似于将字的正体变成斜体
M×N=[1mn1]×[xy]=[x+myy+nx]M\times N=\begin{bmatrix} 1&m\\ n&1 \end{bmatrix}\times \begin{bmatrix} x\\y \end{bmatrix}=\begin{bmatrix} x+my\\y+nx \end{bmatrix} M×N=[1nm1]×[xy]=[x+myy+nx]
平移：要转换为齐次矩阵做平移
M′×N′=[10a01b]×[xy1]=[x+ay+b]M'\times N'=\begin{bmatrix} 1&0&a\\ 0&1&b \end{bmatrix}\times \begin{bmatrix} x\\y\\1 \end{bmatrix}=\begin{bmatrix} x+a\\y+b \end{bmatrix} M′×N′=[1001ab]×⎣⎡xy1⎦⎤=[x+ay+b]

盗用参考博客的图解就是：

注意，我们进行多次变换的时候有多个变换矩阵，如果每次计算一个变换会比较耗时，参考矩阵的乘法特性，我们可以先将变换矩阵相乘，得到一个完整的矩阵代表所有变换，最后乘以图像，就可将图像按照组合变换顺序得到变换图像。这个代表一系列的变换的矩阵通常表示为:
M=[abcdef]M=\begin{bmatrix} a&b&c\\d&e&f \end{bmatrix} M=[adbecf]
因为直接计算位置的值，很可能得到小数，比如将(3,3)(3,3)(3,3)的图像放大到(9,9)(9,9)(9,9)，也就是放大3倍，那么新图像(8,8)(8,8)(8,8)位置的像素就是原图(8/3,8/3)(8/3,8/3)(8/3,8/3)位置的像素，但是像素位置不可能是小数，因而出现了解决方案：双线性插值

双线性插值

先复习一下线性插值，直接去看之前写的这篇博客，知道(x1,y1)(x_1,y_1)(x1,y1)与(x2,y2)(x_2,y_2)(x2,y2)，求(x1,x2)区间内的点(x_1,x_2)区间内的点(x1,x2)区间内的点xxx位置的y值，结果是：
y=x−x2x1−x2y1+x−x1x2−x1y2y=\frac{x-x_2}{x_1-x_2}y_1+\frac{x-x_1}{x_2-x_1}y_2 y=x1−x2x−x2y1+x2−x1x−x1y2
可以发现线性插值是针对一维坐标的，即给xxx求yyy，但是双线性插值是针对二维坐标点的，即给(x,y)(x,y)(x,y)求值QQQ。方法是先在xxx轴方向做两次线性插值，再在yyy轴上做一次线性插值。

设需要求(x,y)(x,y)(x,y)处的值，我们需要预先知道其附近四个坐标点及其对应的值，如:

(x,y)(x,y)(x,y)左下角坐标为(x1,y1)(x_1,y_1)(x1,y1)，值为Q1Q_1Q1
(x,y)(x,y)(x,y)右下角坐标为(x2,y1)(x_2,y_1)(x2,y1)，值为Q2Q_2Q2
(x,y)(x,y)(x,y)左上角坐标为(x1,y2)(x_1,y_2)(x1,y2)，值为Q3Q_3Q3
(x,y)(x,y)(x,y)右上角坐标为(x2,y2)(x_2,y_2)(x2,y2)，值为Q4Q_4Q4

首先对下面的(x1,y1)(x_1,y_1)(x1,y1)和(x2,y1)(x_2,y_1)(x2,y1)做线性插值，方法是把它两看做一维坐标(x1,Q1)(x_1,Q_1)(x1,Q1)和(x2,Q2)(x_2,Q2)(x2,Q2)，得到：
P1=x−x2x1−x2Q1+x−x1x2−x1Q2P_1=\frac{x-x_2}{x_1-x_2}Q_1+\frac{x-x_1}{x_2-x_1}Q_2 P1=x1−x2x−x2Q1+x2−x1x−x1Q2
同理得到上面的两个坐标(x1,y2)(x_1,y_2)(x1,y2)与(x2,y2)(x_2,y_2)(x2,y2)的插值结果，也就是(x1,Q3)(x_1,Q_3)(x1,Q3)和(x2,Q4)(x_2,Q_4)(x2,Q4)的线性插值结果:
P2=x−x2x1−x2Q3+x−x1x2−x1Q4P_2=\frac{x-x_2}{x_1-x_2}Q_3+\frac{x-x_1}{x_2-x_1}Q_4 P2=x1−x2x−x2Q3+x2−x1x−x1Q4
再对(y1,P1)(y_1,P_1)(y1,P1)和(y2,P2)(y_2,P_2)(y2,P2)做线性插值：
P=x−y2y1−y2P1+y−y1y2−y1P2P=\frac{x-y_2}{y_1-y_2}P_1+\frac{y-y_1}{y_2-y_1}P_2 P=y1−y2x−y2P1+y2−y1y−y1P2
解决上面图像变换的问题，假设变换后的坐标不是整数，那么就选择这个坐标四个角的坐标的双线性插值的结果，比如(8/3,8/3)(8/3,8/3)(8/3,8/3)位置的像素就是(2,2),(3,2),(2,3),(3,3)(2,2),(3,2),(2,3),(3,3)(2,2),(3,2),(2,3),(3,3)位置像素的双线性插值结果。

总之就是先计算目标图像像素在源图像中的位置，然后得到源图像位置是小数，针对小数位置的四个顶点做双线性插值。

上面就是STN做的工作，也可以发现STN接受的参数就是6个，接下来看看为什么STN能提高卷积网络的旋转、平移、缩放不变性。

总结一下：

图像处理中的仿射变换通常包含三个步骤：

创建由(x,y)(x,y)(x,y)组成的采样网格，比如(400,400)(400,400)(400,400)的灰度图对应创建一个同样大小的网格。
将变换矩阵应用到采样网格上
使用插值技术从原图中计算变换图的像素值

池化

强行翻译一波这篇文章关于池化的部分，建议看原文，这里摘取个人认为重要部分：

池化在某种程度上增加了模型的空间不变性，因为池化是一种下采样技术，减少了每层特征图的空间大小，极大减少了参数数量，提高了运算速度。

池化提供的不变性确切来说是什么？池化的思路是将一个图像切分成多个单元，这些复杂单元被池化以后得到了可以描述输出的简单的单元。比如有3张不同方向的数字7的图像，池化是通过图像上的小网格来检测7，不受7的位置影响，因为通过聚集的像素值，我们得到的信息大致一样。个人觉得，作者的本意是单看小网格，是有很多一样的块。

池化的缺点在于：

丢失了75%的信息(应该是(2,2)(2,2)(2,2)的最大值池化方法)，意味着我们一定丢了是精确的位置信息。有人会问，这样可以增加空间鲁棒性哇。然而，对于视觉识别人物，空间信息是非常重要的。比如分类猫的时候，知道猫的胡须的位置相对于鼻子的位置有可能很重要，但是如果使用最大池化，可能丢失了这个信息。
池化是局部的且预定义好的。一个小的接受域，池化操作的影响仅仅是针对更深的网络层(越深感受野越大)，也就是中间的特征图可能受到严重的输入失真的影响。我们不能任意增加接受域，这样会过度下采样。

主要结论就是卷积网络对于相对大的输入失真不具有不变性。

The pooling operation used in convolutional neural networks is a big mistake and the fact that it works so well is a disaster. (Geoffrey Hinton, Reddit AMA)

STN理论

STN的全称是Spatial Transformer Networks，空间变换网络。时空变换机制就是通过给CNN提供显式的空间变换能力，以解决上述池化出现的问题。有三种特性：

Modular：STN能够被插入到网络的任意地方，仅需很小的调整
differentiable：STN可以通过反向传播训练
dynamic：STN是对每个输入样本的一个特征图做空间变换，而池化是针对所有样本。

上图是STN网络的主要框架。所以到底什么是空间变换？通过结构图可发现模型包含三部分：localisation network、grid generator、sampler。

Localisation Network

主要是提取被应用到输入特征图上的仿射变换的参数θ\thetaθ，网络结构是：

输入：大小为(H,W,C)(H,W,C)(H,W,C)的特征图UUU
输出：大小为(6,1)(6,1)(6,1)的变换矩阵θ\thetaθ
结构：全连接或者卷积

Parametrised Sampling Grid

输出参数化的采样网格，是一系列的点，每个输入特征图能够产生期望的变换输出。

具体就是：网格生成器首先产生于输入图像UUU大小相同的标准网格，然后将仿射变换应用到网格。公式表达即，假设输入图的索引是(xt,yt)(x^t,y^t)(xt,yt)，将θ\thetaθ代表的变换应用到坐标上得到新的坐标：
[xsys]=[θ1θ2θ3θ4θ5θ6]×[xtyt1]\begin{bmatrix} x^s\\y^s \end{bmatrix}=\begin{bmatrix} \theta_1&\theta_2&\theta_3\\\theta_4&\theta_5&\theta_6 \end{bmatrix}\times\begin{bmatrix} x^t\\y^t\\1 \end{bmatrix} [xsys]=[θ1θ4θ2θ5θ3θ6]×⎣⎡xtyt1⎦⎤
Differentiable Image Sampling

依据输入特征图和参数化采样网格，我们可以利用双线性插值方法获得输出特征图。注意，这一步我们可以通过制定采样网格的大小执行上采样或者下采样，很像池化。

左图使用了单位变换，右图使用了旋转的仿射变换。

【注】因为双线性插值是可微的，所以STN可以作为训练网络的一部分。

代码

利用STN前向过程做图像变换

GitHub上有作者提供了源码，也可以用pip直接安装。

代码直接贴了，稍微改了一点点：

导入包

import tensorflow as tf
import cv2
import numpy as npfrom stn import spatial_transformer_network as transformer

读入图像，转换为四维矩阵：

img=cv2.imread('test_img.jpg')
img=np.array(img)
H,W,C=img.shape
img=img[np.newaxis,:]
print(img.shape)

旋转变换的角度

degree=np.deg2rad(45)
theta=np.array([[np.cos(degree),-np.sin(degree),0],[np.sin(degree),np.cos(degree),0]
])

构建网络结构

x=tf.placeholder(tf.float32,shape=[None,H,W,C])
with tf.variable_scope('spatial_transformer'):theta=theta.astype('float32')theta=theta.flatten()loc_in=H*W*C #输入维度loc_out=6 #输出维度W_loc=tf.Variable(tf.zeros([loc_in,loc_out]),name='W_loc')b_loc=tf.Variable(initial_value=theta,name='b_loc')#运算fc_loc=tf.matmul(tf.zeros([1,loc_in]),W_loc)+b_loch_trans=transformer(x,fc_loc)

把图像喂进去，并显示图像

init=tf.global_variables_initializer()
with tf.Session() as sess:sess.run(init)y=sess.run(h_trans,feed_dict={x:img})print(y.shape)y=np.squeeze(np.array(y,dtype=np.uint8))
print(y.shape)
cv2.imshow('trasformedimg',y)
cv2.waitKey()
cv2.destroyAllWindows()

重点关注网络构建：

权重w_loc是全零的大小为(HWC,6)(HWC,6)(HWC,6)的矩阵，偏置b_loc是大小为(1,6)(1,6)(1,6)的向量，这样经过运算

fc_loc=tf.matmul(tf.zeros([1,loc_in]),W_loc)+b_loc

得到的其实就是我们指定的旋转角度对应的6维变换参数，最后利用变换函数transformer执行此变换就行了。

将STN加入网络中训练

主要参考StegaStamp作者的写法，这里做STN部分加入网络的方法：
输入一张图片到如下网络结构(Keras网络结构搭建语法)：

stn_params = Sequential([Conv2D(32, (3, 3), strides=2, activation='relu', padding='same'),Conv2D(64, (3, 3), strides=2, activation='relu', padding='same'),Conv2D(128, (3, 3), strides=2, activation='relu', padding='same'),Flatten(),Dense(128, activation='relu')])

得到(1,128)(1,128)(1,128)维的向量，其实用一个网络替换上面前向计算中的loc_in，目的是为了得到二维图像对应的一维信息
后面的过程就和前向计算一样了，定义权重和偏置：

W_fc1 = tf.Variable(tf.zeros([128, 6]), name='W_fc1')
b_fc1 = tf.Variable(initial_value=initial, name='b_fc1')

然后利用一维信息得到图像变换所需的6个值：

x = tf.matmul(stn_params, self.W_fc1) + self.b_fc1

最后利用STN库将变换应用到图像中，得到下一层网络结构的输入

transformed_image = stn_transformer(image, x, [self.height, self.width, 3])

可以看出，STN加入到网络后，训练参数有：

二维图像到一维特征向量的卷积+全连接网络的权重和偏置
一维向量到6维变换参数的权重和偏置

总结

通篇就是对池化方案的改变，使用STN能够增加网络的变换不变性，比池化的效果更好。

代码：

链接：https://pan.baidu.com/s/1kDs9T-Mf1F_mzQyvslcROA
提取码：crdu

【TensorFlow-windows】扩展层之STN相关推荐

编写 Debugging Tools for Windows 扩展，第 3 部分：客户端和回调 (windbg 插件扩展)
调试器引擎 API 编写 Debugging Tools for Windows 扩展,第 3 部分:客户端和回调 Andrew Richards 下载代码示例 http://download.csd ...
编写 Debugging Tools for Windows 扩展，第 2 部分：输出 (windbg 插件扩展)
调试器引擎 API 编写 Debugging Tools for Windows 扩展,第 2 部分:输出 Andrew Richards 下载代码示例 http://download.csdn.ne ...
编写 Debugging Tools for Windows 扩展，第 1 部分 (windbg 插件扩展)
调试器 API 编写 Debugging Tools for Windows 扩展 Andrew Richards 下载代码示例 http://download.csdn.net/detail/wha ...
【Blog.Core重要升级】：封装服务扩展层
昨天有群里小伙伴咨询了一个问题: 关于如何在Blog.Core项目中,实现多资源终端的问题,比如这样: 一个AdminMvc的管理后台(MVC项目),一个WebApi项目,一个ConsoleApp的控 ...
tensorflow windows
conda create -n py35 python=3.5 activate py35 pip install --ignore-installed --upgrade https://stora ...
TensorFlow windows之Tensorboard使用
TensorBoard是什么 TensorBoard:Tensorflow自带的可视化工具,TensorBoard 来展现 TensorFlow 图像,绘制图像生成的定量指标图以及附加数据关于如何在 ...
【Tensorflow】卷积层
[Tensorflow]卷积层 1.卷积计算过程卷积计算可以认为是一种有效提取图像特征的方法,一般用一个正方形的卷积核,按照指定步长,在输入特征图上滑动,遍历输入特征图中的每个像素点.每一个步长,卷 ...
Windows用户层技术工具与源码分享
Windows用户层技术工具与源码分享文章目录 Windows用户层技术工具与源码分享一.注入与隐藏 1.窗口界面介绍 2.远程线程注入 3.APC注入 4.突破SESSION0隔离的远程注入 5 ...
『TensorFlow』卷积层、池化层详解
一.前向计算和反向传播数学过程讲解这里讲解的是平均池化层,最大池化层见本文第三小节二.测试代码数据和上面完全一致,自行打印验证即可. 1.前向传播 import tensorflow as tf ...

【TensorFlow-windows】扩展层之STN

前言

理论