cnn 反向传播推导_深度学习中的参数梯度推导（三）下篇

前言

在深度学习中的参数梯度推导(三)中篇里，我们总结了CNN的BP推导第一步：BP通过池化层时梯度的计算公式。本篇(下篇)则继续推导CNN相关的其他梯度计算公式。

注意：本文默认读者已具备深度学习上的基本知识

3.2

CNN的BP推导

接下来我们要看看误差逆着经过卷积层会发生什么事情。

那么在反向传播时，我们所讨论的是：

下面正式开始。

数学上和CNN上的卷积操作的区别是，卷积核在前者需要翻转180度。

我们先以一个简单的例子说明为啥这里卷积核要翻转，为啥相对于前传的valid convolution，反传要做full convolution。

接着我们模拟反向求导：

这上面9个式子其实可以用一个矩阵卷积的形式表示，即：

一个结论是如果前向传播是valid模式的卷积运算，那么反向传播就需要做full模式的卷积操作。

接着让我们再看一个不寻常的例子2：

对上述式子展开，进行元素级分析：

其中卷积符号代表CNN中的卷积操作，利用该定义，我们得到：

接着我们模拟反向求导过程：

实际我们可以用下面这个卷积运算来表示上面这些海量的偏导数：

如果我们想让stride>1时和stride=1时的结果能得到统一，我认为那么我们可以将stride>1的情况视为是stride=1的特殊情况，例如，stride=2的话，两个矩阵先按照stride=1那样进行卷积，只是位移如果不够2的话(换句话说，位移总次数如果不能被2整除)，卷积结果就输出0。这样我们就得到下面这个计算模式：

现在我们总结下CNN的反向传播算法，以最基本的批量梯度下降法为例来描述反向传播算法。

参考资料

https://www.cnblogs.com/pinard/p/6519110.html

https://grzegorzgwardys.wordpress.com/2016/04/22/8/#unique-identifier

深度学习

TO BE CONTINUED

数学

文章作者：中国电信研究院 | 刘心唯

文章内容系作者个人观点,不代表融智未来公众号的观点或立场。

往期 · 推荐

● 深度学习中的参数梯度推导(一)上篇

● 深度学习中的参数梯度推导(一)下篇

● 深度学习中的参数梯度推导(二)：深度神经网络(DNN)的前传与反传

● 深度学习中的参数梯度推导(三)上篇

● 深度学习中的参数梯度推导(三)中篇

你们点点“分享”，给我充点儿电吧~

cnn 反向传播推导_深度学习中的参数梯度推导（三）下篇相关推荐

eta 深度学习参数_深度学习中的参数梯度推导（一）
必备的数学知识矩阵微分与求导前言深度学习向来被很多人认为是"黑盒",因为似乎很多人都不清楚深度学习的运作方式,本系列<深度学习中的数学>的连载文章主要目的就是向大 ...
gan 总结数据增强_深度学习中的数据增强（下）
言有三毕业于中国科学院,计算机视觉方向从业者,有三工作室等创始人编辑 | 言有三今天带来深度学习中的数据增强方法的下篇.我们将从以下几个方向入手.1,介绍一下什么是无监督的数据增强方法.2,简单 ...
nfa确定化 dfa最小化_深度学习中的优化：梯度下降，确定全局最优值或与之接近的局部最优值...
深度学习中的优化是一项极度复杂的任务,本文是一份基础指南,旨在从数学的角度深入解读优化器. 一般而言,神经网络的整体性能取决于几个因素.通常最受关注的是网络架构,但这只是众多重要元素之一.还有一个常常 ...
sigmoid函数_深度学习中激活函数总结
一.前言前段时间通过引入新的激活函数Dice,带来了指标的提升,借着这个机会,今天总结下常用的一些激活函数. 激活函数在深度学习中起着非常重要的作用,本文主要介绍下常用的激活函数及其优缺点.主要分为 ...
差分隐私深度学习_深度学习中的差异隐私
差分隐私深度学习 I would like to thank Mr. Akshay Kulkarni for guiding me on my journey in publishing my fi ...
深度学习中的注意力机制（三）
作者 | 蘑菇先生来源 | NewBeeNLP原创出品深度学习Attenion小综述系列: 深度学习中的注意力机制(一) 深度学习中的注意力机制(二) 目前深度学习中热点之一就是注意力机制(Att ...
【NLP】四万字全面详解 | 深度学习中的注意力机制（三）
NewBeeNLP原创出品公众号专栏作者@蘑菇先生知乎 | 蘑菇先生学习记深度学习Attenion小综述系列: 四万字全面详解 | 深度学习中的注意力机制(一) 四万字全面详解 | 深度学习中的 ...
nfa确定化 dfa最小化_深度学习中的不确定性
原文:What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision? (NIPS 2017) 深度学习模型给出 ...
CNN做时间序列预测_深度学习与时间序列预测
论文下载地址: N-BEATS: Neural basis expansion analysis for interpretable time series forecastingarxiv.org ...

cnn 反向传播推导_深度学习中的参数梯度推导（三）下篇

cnn 反向传播推导_深度学习中的参数梯度推导（三）下篇相关推荐

最新文章

热门文章