本文主要讲解卷积神经网络(CNN)反向传播过程的matlab代码实现。

01

简介

CNN主要由三种层堆叠而成，即卷积层、池化层和全连接层，在《卷积神经网络(三)：反向传播过程》中又推导了这三种层的误差反向传播公式。因此，CNN反向传播的代码主要由这三种层的反向传播代码构成。

02

代码实现

在CNN反向传播时，输出层的误差(目标函数)会依次从后往前经过全连接层、池化层和卷积层。在编写全连接层、池化层和卷积层的代码时，均是先求出误差关于各层输入的导数，然后再计算参数的导数。假设本文研究的是分类问题，输出层采用softmax函数，目标函数定义为交叉熵损失+参数正则化。(一)定义并计算目标函数

梯度下降要优化的目标函数，主要分为两部分：一部分是由于分类器输出结果和真实结果的差异引起的误差，另一部分是对权重w的正则约束。

logp = log(probs);index = sub2ind(size(logp),mb_labels',1:size(probs,2));ceCost = -sum(logp(index));wCost = lambda/2 * (sum(Wd(:).^2)+sum(Wc(:).^2));cost = ceCost/numImages + wCost;

(二)softmax层

交叉熵损失函数关于softmax层输入的导数为：

即直接用预测结果减去真实结果。如果采用是平方差损失函数，则平方差损失函数关于softmax层输入的导数为(需要分情况讨论)：

本文采用分类问题常用的交叉熵损失函数。

output = zeros(size(probs));output(index) = 1;DeltaSoftmax = probs - output;

注：笔者做过利用Levenberg–Marquardt算法优化网络结构，此时即需要平方差损失函数。

(三)全连接层

全连接层的误差反向传播是将DeltaSoftmax乘以各层的权重以及点乘激活函数的导数。

Wd_grad = (1./numImages) .* DeltaSoftmax*activationsPooled'+lambda*Wd;bd_grad = (1./numImages) .* sum(DeltaSoftmax,2);

(四)池化层

在求出误差关于第一个全连接层的导数后，需要将该结果还原成最后一个池化层输出的形状。如果采用的是平均池化，则误差在池化区域内的所有元素上均分；如果采用的是最大池化，则误差只由最大元素负责。

DeltaPool = reshape(Wd' * DeltaSoftmax,outputDim,outputDim,numFilters,numImages);DeltaUnpool = zeros(convDim,convDim,numFilters,numImages);for imNum = 1:numImages    for FilterNum = 1:numFilters        unpool = DeltaPool(:,:,FilterNum,imNum);        DeltaUnpool(:,:,FilterNum,imNum) = kron(unpool,ones(poolDim))./(poolDim ^ 2);    endend

(五)卷积层

卷积层的反向传播较为复杂，但是具体的推导细节已经在《卷积神经网络(三)：反向传播过程》中解释清楚。

% 在求出误差关于池化层输入的导数后，再点乘激活函数的导数。DeltaConv = DeltaUnpool .* activations .* (1 - activations);% 卷积层偏置的代码bc_grad = zeros(size(bc));for filterNum = 1:numFilters    error = DeltaConv(:,:,filterNum,:);    bc_grad(filterNum) = (1./numImages) .* sum(error(:));end% 卷积层权重的代码Wc_grad = zeros(filterDim,filterDim,numFilters);% 旋转所有DealtaConv：下面的conv2在函数内部会自动旋转180度，% 所以在这里旋转是为了抵消conv2旋转的影响。for filterNum = 1:numFilters    for imNum = 1:numImages        error = DeltaConv(:,:,filterNum,imNum);        DeltaConv(:,:,filterNum,imNum) = rot90(error,2);    endendfor filterNum = 1:numFilters    for imNum = 1:numImages        Wc_grad(:,:,filterNum) = Wc_grad(:,:,filterNum) + conv2(images(:,:,imNum),DeltaConv(:,:,filterNum,imNum),'valid');    endendWc_grad = (1./numImages) .* Wc_grad + lambda*Wc;