fan_in / fan_out 的理解

从内置函数 _calculate_fan_in_and_fan_out来看fan_in 和 fan_out 的定义

如果输入数据 tensor 的维度等于2，

如果输入数据 tensor 的维度大于2

recpetive_field_size 就是第三维度 * 第四维度...

例如， conv1=nn.Conv2d(16, 64, 3, 3, stride=1)

tensor_dim=4, tensor.shape=( 64, 16, 3, 3)

receptive_field= 3 * 3 = 9

fan_in = 16 * 9

fan_out = 64 * 9

更为精确的表达

在涉及到空洞卷积（dilated convolution）时候 receptivefield 要比普通卷积大，receptivefield与kernel的大小不同，fan_in/fan_out 结果也不同。

deep learning - How to calculate fan-in and fan-out in Xavier initialization for neural networks? - Stack Overflow

fan_in / fan_out 的理解相关推荐

xavier，kaiming初始化中的fan_in,fan_out在卷积神经网络是什么意思
xavier xavier初始化出自论文Understanding the difficulty of training deep feedforward neural network,论文讨论的是全 ...
Deep Learning论文笔记之（五）CNN卷积神经网络代码理解
Deep Learning论文笔记之(五)CNN卷积神经网络代码理解 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文,但 ...
利用Theano理解深度学习——Convolutional Neural Networks
注:本系列是基于参考文献中的内容,并对其进行整理,注释形成的一系列关于深度学习的基本理论与实践的材料,基本内容与参考文献保持一致,并对这个专题起名为"利用Theano理解深度学习" ...
CNN 用于手写体识别 matlab 代码理解
文章目录 1. 加载数据集并划分训练数据与测试数据 2. 设置网络结构及训练参数 3. 初始化网络 4. 根据初始化的参数对数据进行训练 1. 加载数据集并划分训练数据与测试数据 % function ...
理解BN(Batch Normalization)
https://www.cnblogs.com/king-lp 转自:参数优化方法 1. 深度学习流程简介 1)一次性设置(One time setup) - 激活函数(Activ ...
深度学习的Xavier初始化方法
在tensorflow中,有一个初始化函数:tf.contrib.layers.variance_scaling_initializer.Tensorflow 官网的介绍为: variance_sca ...
积神经网络的参数优化方法——调整网络结构是关键！！！你只需不停增加层，直到测试误差不再减少....
积神经网络(CNN)的参数优化方法 from:http://blog.csdn.net/u010900574/article/details/51992156 著名: 本文是从 Michael Nie ...
DeepLearning tutorial（4）CNN卷积神经网络原理简介+代码详解
FROM: http://blog.csdn.net/u012162613/article/details/43225445 DeepLearning tutorial(4)CNN卷积神经网络原理简介 ...
深度学习（四）卷积神经网络Lenet-5实现
卷积神经网络Lenet-5实现原文地址:http://blog.csdn.net/hjimce/article/details/47323463 作者:hjimce 卷积神经网络算法是n年前就有的算 ...

fan_in / fan_out 的理解

fan_in / fan_out 的理解相关推荐

最新文章

热门文章