Pytorch中apply函数作用

pytorch中的model.apply(fn)会递归地将函数fn应用到父模块的每个子模块submodule，也包括model这个父模块自身。经常用于初始化init_weights的操作。如下apply递归调用_init_vit_weights，初始化ViT模型的子模块。

        from torch import nn#Weight init，初始化pos_embed# trunc_normal_利用正态分布生成一个点，点在[a, b]区间之内nn.init.trunc_normal_(self.pos_embed, std=0.02)# Weight init，初始化cls_tokennn.init.trunc_normal_(self.cls_token, std=0.02)# 调用vit初始函数self.apply(_init_vit_weights)def _init_vit_weights(m):"""ViT weight initialization:param m: module"""if isinstance(m, nn.Linear):nn.init.trunc_normal_(m.weight, std=.01)if m.bias is not None:nn.init.zeros_(m.bias)elif isinstance(m, nn.Conv2d):nn.init.kaiming_normal_(m.weight, mode="fan_out")if m.bias is not None:nn.init.zeros_(m.bias)elif isinstance(m, nn.LayerNorm):nn.init.zeros_(m.bias)nn.init.ones_(m.weight)

Pytorch中apply函数作用相关推荐

pytorch中repeat()函数理解
pytorch中repeat()函数理解最近在学习过程中遇到了repeat()函数的使用,这里记录一下自己对这个函数的理解. 情况1:repeat参数个数与tensor维数一致时 a = torch ...
pytorch 中 contiguous() 函数理解
pytorch 中 contiguous() 函数理解文章目录 pytorch 中 contiguous() 函数理解引言使用 contiguous() 后记文章抄自 Pytorch中cont ...
**Pytorch 中view函数和reshape函数的区别*
Pytorch 中view函数和reshape函数的区别(我是一名大一刚学计算机的学生希望我的说法对你有帮助) 首先:要了解这个问题我们要先了解一个基本知识张量的储存方式跟据图片我们可以清楚的看 ...
python batchnorm2d_BatchNorm2d原理、作用及其pytorch中BatchNorm2d函数的参数讲解
BN原理.作用: 函数参数讲解: BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) 1. ...
java中flush函数作用_Java语言中flush()函数作用及使用方法详解
最近在学习io流,发现每次都会出现flush()函数,查了一下其作用,起作用主要如下 //------–flush()的作用--------– 笼统且错误的回答: 缓冲区中的数据保存直到缓冲区满后才写 ...
pytorch中（函数名有下划线和没有下划线）clamp和clamp_的区别
在pytorch中,我们需要注意,对于tensor的操作时候是in-place类型. in-place类型是指,但在一个tensor上操作了之后,是直接修改了这个tensor,还是返回一个新的tens ...
Pandas中Apply函数加速百倍的技巧
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达作者 | 杰少来源 | kaggle竞赛宝典编辑 | 极市平台 ...
java中example函数作用_MyBatis逆向工程中的Mapper接口以及Example的实例函数及详解...
一.mapper接口中的方法解析 mapper接口中的函数及方法方法功能说明 int countByExample(UserExample example) thorws SQLException按 ...
python中format函数作用_python中format函数什么意思
python中format函数什么意思? Python2.6 开始,新增了一种格式化字符串的函数 str.format(),它增强了字符串格式化的功能. 基本语法是通过 {} 和 : 来代替以前的 % ...

Pytorch中apply函数作用

Pytorch中apply函数作用相关推荐

最新文章

热门文章