maxpooling反向传播

首先理解y=max(a,b) 的求导

其实就是y由大的量决定，如果a大，那就相当于 y=a ，求导就是1

给大家上个pytorch代码，可以调试下看看。

def test_maxpooling():import torchfeatures=torch.FloatTensor([[1, 2, 6, 7,],[3, 4, 5, 8,],[13, 16, 9, 10,],[14, 15, 12, 11]])features.unsqueeze_(0)features.requires_grad_(True)pool_data = torch.nn.functional.max_pool2d(features, kernel_size=(2, 2), stride=2)print(pool_data)# tensor([[[4., 8.],#          [16., 12.]]]y = torch.sum(pool_data)y.backward()print(features.grad)# tensor([[[0., 0., 0., 0.],#          [0., 1., 0., 1.],#          [0., 1., 0., 0.],#          [0., 0., 1., 0.]]])
if __name__ == '__main__':test_maxpooling()

maxpooling反向传播相关推荐

四张图彻底搞懂CNN反向传播算法（通俗易懂）
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自:机器学习算法那些事阅读本文之前,可以先阅读之前讲述的全 ...
meanpool maxpool 前向和反向传播
mean max 前向和反向传播感觉平均迟化对值不太公平,应该加个权重,让算法自动去决定哪个 cnn中关于平均池化和最大池化的理解接触到pooling主要是在用于图像处理的卷积神经网络中,但随着深 ...
CNN反向传播源码实现——CNN数学推导及源码实现系列(4)
前言本系列文章链接: CNN前置知识:模型的数学符号定义--卷积网络从零实现系列(1)_日拱一两卒的博客-CSDN博客https://blog.csdn.net/yangwohenmai1/arti ...
cnn卷积神经网络反向传播,cnn正向传播和反向传播
如何对CNN网络的卷积层进行反向传播在多分类中,CNN的输出层一般都是Softmax.RBF在我的接触中如果没有特殊情况的话应该是"径向基函数"(RadialBasisFunct ...
0_3-激活函数的反向传播-ReLU、LeakyReLU、PReLU、ELU、SELU
numpy实现神经网络系列工程地址:https://github.com/yizt/numpy_neuron_network 基础知识 0_1-全连接层.损失函数的反向传播 0_2_1-卷积层的反向 ...
TensorFlow反向传播算法实现
TensorFlow反向传播算法实现反向传播(BPN)算法是神经网络中研究最多.使用最多的算法之一,用于将输出层中的误差传播到隐藏层的神经元,然后用于更新权重. 学习 BPN 算法可以分成以下两个过 ...
机器学习入门（14）— 神经网络学习整体流程、误差反向传播代码实现、误差反向传播梯度确认、误差反向传播使用示例
1. 神经网络学习整体流程神经网络学习的步骤如下所示. 前提神经网络中有合适的权重和偏置,调整权重和偏置以便拟合训练数据的过程称为学习.神经网络的学习分为下面 4 个步骤. 步骤1(mini-ba ...
机器学习入门（11）— 反向传播的加法节点、乘法节点、加法层代码实现、乘法层代码实现
1. 加法节点以 z = x + y 为对象,观察它的反向传播.z = x + y 的导数可由下式(解析性地)计算出来. 计算图如图 5-9 中,反向传播将从上游传过来的导数(本例中是 ∂L∂z\f ...
机器学习概念 — 监督学习、无监督学习、半监督学习、强化学习、欠拟合、过拟合、后向传播、损失和优化函数、计算图、正向传播、反向传播
1. 监督学习和无监督学习监督学习 ( Supervised Learning ) 和无监督学习 ( Unsupervised Learning ) 是在机器学习中经常被提及的两个重要的学习方法. ...
深度学习（3）基础3 -- 前向传播与反向传播
目录一.前向传播 1.目的 2.前向传播过程二.反向传播(梯度下降) 1.意义 2.目的 3.过程 4.门单元 5.更新权重计算整体过程前向传播:得到输出. 反向传播:更新权重. 最后调整权重 ...

maxpooling反向传播

maxpooling反向传播相关推荐

最新文章

热门文章