mxnet参数初始化,查看
查看:
import mxnet as mxa = mx.sym.Variable('data')b = mx.sym.FullyConnected(data=a,name='fc1',num_hidden=100)data_shape = {'data':(256,64)}arg_shape,_,_ = b.infer_shape(**data_shape)
>>> b.list_arguments() # 列出symbol中的所有参数,这里是输入以及全连接层的权值和偏置
['data', 'fc1_weight', 'fc1_bias']
>>> arg_shape # 这里展示上面三个参数的size
[(256L, 64L), (100L, 64L), (100L,)]
mxnet的模型参数初始化方法总结
1.mxnet框架的初始化方法在类mxnet.initializer中,参考官方文档https://mxnet.apache.org/api/python/docs/api/initializer/index.html#mxnet.initializer.Xavier
2.具体方法
(1)Bilinear():Initialize weight for upsampling layers.翻译过来就是:初始化上采样层的权重。什么意思?看看源码解释
官方源代码
class Bilinear(Initializer):
"""Initialize weight for upsampling layers."""
def __init__(self):
super(Bilinear, self).__init__()
def _init_weight(self, _, arr):
weight = np.zeros(np.prod(arr.shape), dtype='float32')
shape = arr.shape
f = np.ceil(shape[3] / 2.) # 计算列数/2,向上求余
c = (2 * f - 1 - f % 2) / (2. * f)
for i in range(np.prod(shape)): # 重新生成权重
x = i % shape[3] # 根据列数
y = (i // shape[3]) % shape[2]
weight[i] = (1 - abs(x / f - c)) * (1 - abs(y / f - c))
arr[:] = weight.reshape(shape)
arr是一个矩阵数组,np.prod进行连乘计算,计算出arr中共有多少元素,根据arr数组生成一个全零的一维数组。
无解,只知道是这个意思,具体干什么的,怎么用的,没见过用的,有知道的老哥告知一下,谢谢!
(2)mxnet.initializer.Constant(value):将权重参数初始化为常数。
源码
class Constant(Initializer):
"""Initializes the weights to a given value.
The value passed in can be a scalar or a NDarray that matches the shape
of the parameter to be set.
Parameters
----------
value : float, NDArray
Value to set.
"""
def __init__(self, value):
super(Constant, self).__init__(value=value)
self.value = value
def _init_weight(self, _, arr):
arr[:] = self.value
def dumps(self):
val = self._kwargs['value']
if not np.isscalar(val):
self._kwargs['value'] = val.tolist() if isinstance(val, np.ndarray) else val.asnumpy().tolist()
return json.dumps([self.__class__.__name__.lower(), self._kwargs])
(3)mxnet.initializer.Normal(sigma=0.01):将权重初始化为均值为0,标准差为sigma的随机数
(4)mxnet.initializer.One:将权重参数初始化为1
(5)mxnet.initializer.Orthogonal(scale=1.414, rand_type='uniform'):将权重初始化为正交矩阵。
scale权重比例因子,rand_type使用“均匀”或“正常”随机数初始化权重
(6)mxnet.initializer.Uniform(scale=0.07):使用从给定范围内均匀采样的随机值初始化权重
scale界限值
(7)mxnet.initializer.Xavier(rnd_type='uniform', factor_type='avg', magnitude=3):返回对权重执行“ Xavier”初始化的初始化器。该初始化程序旨在使所有图层的渐变比例大致相同。
md_type决定生成的随机数类型是“gaussian” or "uniform";factor_type决定随机数的范围,可以是"avg" or "in" or "out"
magnitude决定随机数的规模
(8)mxnet.initializer.Zero:将权重矩阵初始化为0
————————————————
版权声明:本文为CSDN博主「夜雨_小学徒」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/m0_37992521/article/details/105810427
mxnet参数初始化,查看相关推荐
- PyTorch模型读写、参数初始化、Finetune
使用了一段时间PyTorch,感觉爱不释手(0-0),听说现在已经有C++接口.在应用过程中不可避免需要使用Finetune/参数初始化/模型加载等. 模型保存/加载 1.所有模型参数 训练过程中,有 ...
- 神经网络中的网络优化和正则化(二)之参数初始化/数据预处理/逐层归一化
转载请注明出处:https://thinkgamer.blog.csdn.net/article/details/101026786 博主微博:http://weibo.com/234654758 G ...
- 派生类参数初始化列表和基类构造函数顺序
今天被问到了一个问题,随便回了一句,父类还没有构建,怎么能初始化父类的成员. 派生类构造函数的参数初始化列表,为什么不能初始化基类的成员? 例如下面的是不可以的 class Rectangle : p ...
- DL之DNN:基于Tensorflow框架对神经网络算法进行参数初始化的常用九大函数及其使用案例
DL之DNN:基于Tensorflow框架对神经网络算法进行参数初始化的常用九大函数及其使用案例 目录 基于Tensorflow框架对神经网络算法进行初始化的常用函数及其使用案例 1.初始化的常用函数
- Paper:Xavier参数初始化之《Understanding the difficulty of training deep feedforward neural networks》的翻译与解读
Paper:Xavier参数初始化之<Understanding the difficulty of training deep feedforward neural networks>的 ...
- DL之DNN优化技术:采用三种激活函数(sigmoid、relu、tanh)构建5层神经网络,权重初始值(He参数初始化和Xavier参数初始化)影响隐藏层的激活值分布的直方图可视化
DL之DNN优化技术:采用三种激活函数(sigmoid.relu.tanh)构建5层神经网络,权重初始值(He参数初始化和Xavier参数初始化)影响隐藏层的激活值分布的直方图可视化 目录
- DL之DNN优化技术:自定义MultiLayerNet【5*100+ReLU】对MNIST数据集训练进而比较三种权重初始值(Xavier参数初始化、He参数初始化)性能差异
DL之DNN优化技术:自定义MultiLayerNet[5*100+ReLU]对MNIST数据集训练进而比较三种权重初始值(Xavier参数初始化.He参数初始化)性能差异 导读 #思路:观察不同的权 ...
- DL之DNN优化技术:DNN中参数初始化【Lecun参数初始化、He参数初始化和Xavier参数初始化】的简介、使用方法详细攻略
DL之DNN优化技术:DNN中参数初始化[Lecun参数初始化.He参数初始化和Xavier参数初始化]的简介.使用方法详细攻略 导读:现在有很多学者认为,随着BN层的提出,权重初始化可能已不再那么紧 ...
- DeepLearning:tensorflow 参数初始化和参数保存
参数初始化: sess = tf.InteractiveSession() sess.run(tf.global_variables_initializer()) # 初始化模型的参数 参数保存: s ...
最新文章
- 基于相交线的立体平面SLAM
- mysql 主从报错
- bookstrap 怎么用ajax,bootstrap里怎么用ajax请求数据到table里
- 本地Windows远程桌面连接阿里云Ubuntu 16.04服务器:
- 济南python工资一般多少钱-济南Python人工智能编程
- SAP FI/CO模块调研问卷
- Java异常简单介绍
- 三位对我影响最深的老师
- DoTween NGUI bug
- Big Sur恢复Catalina ? macOS Big Sur降级的三种方法 !
- 查看Oracle实例的EM端口
- 基坑监测日报模板_基坑水平监测日报表
- 自己小米4c 高通9008模式刷机 低版本 亲测有效
- 宝塔实测-电商ERP进销存系统源码
- 计算机的表格如何加边框,技巧:三种快速添加Excel表格边框的方法
- 风云崛起之matlab求解电路状态方程
- 精 挑 细 选 http://acm.nyist.net/JudgeOnline/problem.php?pid=263
- jdk8Comparator.comparing 排序
- Win10版本太低更新不了怎么办
- IDEA最全最常用的配置与性能优化(Java必备)