深度学习笔记5：Building Deep Networks for Classification

由多个稀疏自编码器的编码层和一个分类器组成。
直接上代码：

numLayers=numel(stack);
a{1}=data;
for i=1:numLayersz{i+1}=stack{i}.w*a{i}+repmat(stack{i}.b,1,M);a{i+1}=sigmoid(z{i+1});
end
z{numLayers+2}=softmaxTheta*a{numLayers+1};
p=bsxfun(@rdivide,exp(z{numLayers+2}),sum(exp(z{numLayers+2})));%代价函数，只考虑Softmax回归模型的代价
cost=-1/M*sum(sum(groundTruth.*log(p)))+lambda/2*sum(sum(softmaxTheta.^2));%Softmax单独求导
softmaxThetaGrad = -1/M * (groundTruth -p) *a{numLayers+1}' + lambda * softmaxTheta;%BP
d = cell(numLayers+1);
d{numLayers+1} = -(softmaxTheta' * (groundTruth - p)) .* (a{numLayers+1} .* (1-a{numLayers+1}));
for layer = (numLayers:-1:2)d{layer} = (stack{layer}.w' * d{layer+1}) .* (a{layer} .* (1- a{layer}));
endfor layer = (numLayers:-1:1)stackgrad{layer}.w = (1/M) * d{layer+1} * a{layer}';stackgrad{layer}.b = (1/M) * sum(d{layer+1}, 2);
end

梯度求导，感谢博主小村长的分享，贴下图：

结合以上推导过程，加上自己理解，写出推导过程如下：

深度学习笔记5：Building Deep Networks for Classification相关推荐

【深度学习笔记】cs231n neural networks 3
cs231n neural networks 3笔记 Gradient checks 1. Use the centered formula 2. Use relative error for the ...
深度学习笔记：Deep Residual Networks with Dynamically Weighted Wavelet Coefficients for Fault Diagnosis of
深度学习笔记:Deep Residual Networks with Dynamically Weighted Wavelet Coefficients for Fault Diagnosis of ...
吴恩达深度学习笔记——卷积神经网络（Convolutional Neural Networks）
深度学习笔记导航前言传送门卷积神经网络(Convolutional Neural Networks) 卷积神经网络基础(Foundations of Convolutional Neural N ...
下载量过百万的吴恩达机器学习和深度学习笔记更新了！（附PDF下载）
今天,我把吴恩达机器学习和深度学习课程笔记都更新了,并提供下载,这两本笔记非常适合机器学习和深度学习入门.(作者:黄海广) 0.导语我和同学将吴恩达老师机器学习和深度学习课程笔记做成了打印版,放在g ...
33万字！深度学习笔记在线版发布!
吴恩达老师的深度学习课程(deeplearning.ai),可以说是深度学习入门的最热门课程,我和志愿者编写了这门课的笔记,并在 github 开源,为满足手机阅读的需要,我将笔记做成了在线版,可以在 ...
《DeepLearning.ai 深度学习笔记》发布，黄海广博士整理
深度学习入门首推课程就是吴恩达的深度学习专项课程系列的 5 门课.该专项课程最大的特色就是内容全面.通俗易懂并配备了丰富的实战项目.今天,给大家推荐一份关于该专项课程的核心笔记!这份笔记只能用两个字形 ...
HALCON 21.11：深度学习笔记---术语表(7)
HALCON 21.11:深度学习笔记---术语表(7) HALCON 21.11.0.0中,实现了深度学习方法.下面,我们将描述深度学习环境中使用的最重要的术语: anchor (锚) Anchor ...
HALCON 20.11：深度学习笔记(7)---术语表
HALCON 20.11:深度学习笔记(7)---术语表 HALCON 20.11.0.0中,实现了深度学习方法.下面,我们将描述深度学习环境中使用的最重要的术语: anchor (锚) Anchor ...
《繁凡的深度学习笔记》前言、目录大纲一文让你完全弄懂深度学习所有基础（DL笔记整理系列）
<繁凡的深度学习笔记>前言.目录大纲 (DL笔记整理系列) 一文弄懂深度学习所有基础 ! 3043331995@qq.com https://fanfansann.blog.csdn.ne ...

深度学习笔记5：Building Deep Networks for Classification

深度学习笔记5：Building Deep Networks for Classification相关推荐

最新文章

热门文章