Network Slimming

Network Slimming-Learning Efficient Convolutional Networks through Network Slimming](https://arxiv.org/abs/1708.06519)

Network Slimming为一种神经网络训练方法,其可以减小模型大小,运行内存,计算量,同时没有精度损失,并最小化训练过程.得到的模型不需要专门的库或者软件来运行.

通道剪枝:

在卷积层的每个通道引入一个尺度因子 γ \gamma,具体操作为将尺度因子 γ \gamma与该通道的输出相乘. 在训练的过程中,对这些尺度因子采用sparsity regularization操作,以自动鉴定不重要的通道.这样需要训练的参数包括网络本身的参数,以及每个通道的尺度因子 γ \gamma,训练目标函数为:

式中,(x,y)表示训练输入,目标输出.W为网络的各层的权重参数. l(f(x,W),y) l(f(x,W),y)表示网络本身的目标函数, λ∑γ∈Tg(γ) \lambda \sum_{\gamma \in T}g(\gamma)表示尺度因子 γ \gamma参数的目标函数.

g(⋅) g(\cdot)函数定义为:

g(s)=|s| g(s)=|s|

batch normalization

在CNN中,通常会引入batch normalization(BN),以加快模型收敛,优化模型生成效果.文献提出,同时将通道中的尺度因子 γ \gamma重新应用于BN层.另 zin,zout z_{in},z_{out}分别为BN层的输入,输出.B为当前的mini-batch,则BN层的计算公式为:

式中, μB,σB \mu _B ,\sigma_B为输入激活函数对B的均值和方差. γ,β \gamma,\beta 为需要训练的仿射变换参数.

对于含有小的尺度因子的通道,如图中橙色标记通道,将其剪去.剪枝后,我们获得了紧凑的模型,如图中有半部分所示.将剪枝厚的模型进行fine-tuned,以达到与完整的网络模型相等甚至更高的精度.

完整的网络训练过程图如下:

模型压缩效果:

代码分析

torch代码:https://github.com/liuzhuang13/slimming
试验代码模型为 VGGNet ,数据为CIFAR-10 dataset.
模型剪枝代码为:

require 'nn'
require 'cunn'
require 'cudnn'opt = lapp[[--percent    (default 0.5)--model  (default '')--save   (default '')
]]
print(opt)model = torch.load(opt.model)
model:cuda()
name = 'cudnn.SpatialBatchNormalization'print(model)total = 0
for k, v in pairs(model:findModules(name)) dototal = total + v.weight:size(1)
endbn = torch.zeros(total)
index = 1
for k, v in pairs(model:findModules(name)) dosize = v.weight:size(1)bn:narrow(1, index, size):copy(v.weight:clone():float():abs())index = index + size
endy, i = torch.sort(bn)
thre_index = math.floor(total * opt.percent)
thre = y[thre_index]pruned = 0for k,v in pairs(model:findModules(name)) doweight_copy = v.weight:clone()mask = weight_copy:abs():gt(thre):float():cuda()pruned = pruned + mask:size(1) - torch.sum(mask)v.weight:cmul(mask) v.bias:cmul(mask)print('layer index: ', k)print('total channel: ', mask:size(1))print('remaining channel: ', torch.sum(mask), '\n')
endpruned_ratio = pruned/totaltorch.save(opt.save, model)print('Successful!')