TF2—tf.keras.layers.BatchNormalization

文章目录

BatchNormalization参数详解

BatchNormalization参数详解

原网址

tf.keras.layers.BatchNormalization(axis=-1, momentum=0.99, epsilon=0.001, center=True, scale=True,beta_initializer='zeros', gamma_initializer='ones',moving_mean_initializer='zeros', moving_variance_initializer='ones',beta_regularizer=None, gamma_regularizer=None, beta_constraint=None,gamma_constraint=None, renorm=False, renorm_clipping=None, renorm_momentum=0.99,fused=None, trainable=True, virtual_batch_size=None, adjustment=None, name=None,**kwargs
)

描述

在每批中对上一层的激活进行归一化，即应用转换以将平均激活保持在0附近并将激活标准偏差保持在1附近

参数

axis
整数，应该规范化的轴(通常是特征轴)
例如，在具有data_format =“ channels_first”的Conv2D图层之后，在BatchNormalization中设置axis = 1

momentum
移动平均线的动量

epsilon
将小浮点数添加到方差以避免被零除

center
如果为真，将beta的偏移量加到标准化张量。如果为False，则忽略beta

scale
如果为真，乘以gamma。如果为False，则不使用gamma
当下一层是线性的(例如nn.relu)，这可以被禁用，因为缩放将由下一层完成。

beta_initializer : beta权重的初始化

gamma_initializer : gamma权重的初始化

moving_mean_initializer : moving_mean的初始化

moving_variance_initializer : moving_variance的初始化

beta_regularizer : beta权重的可选正则化

gamma_regularizer ： gamma权重的可选正则化

beta_constraint ： beta权重的可选约束

gamma_constraint ： gamma权重的可选约束

renorm ：动量用renorm更新移动平均值和标准偏差

renorm_clipping : 可以将键“ rmax”，“ rmin”，“ dmax”映射到用于裁剪重新规范校正的标量张量的字典

renorm_momentum
动量用renorm更新移动平均值和标准偏差。与动量不同的是，它会影响训练，不能太小(那会增加噪音)，也不能太大

fused
如果为True，则使用更快的融合实现，如果无法使用融合实现，则引发ValueError。
如果为None，请尽可能使用更快的实现。
如果为False，则不要使用融合的实现。

virtual_batch_size
int型。默认情况下，virtual_batch_size为None，这意味着在整个批处理中执行批标准化

adjustment
仅在训练期间，采用包含输入张量的（动态）形状的张量并返回一对（比例，偏差）的函数以应用于标准化值（在gamma和beta之前）的函数
如果为无，则不应用任何调整。
如果指定了virtual_batch_size，则无法指定。

调用参数

inputs
输入张量

training
布尔值，指示该层是应在训练模式下还是在推理模式下运行
if training = True时，
该层将使用当前一批输入的均值和方差对输入进行归一化
if training = False时，
该层将使用在训练过程中获得的移动统计数据的均值和方差对输入进行归一化。

Input shape

当使用这一层作为模型的第一层时，使用关键字参数input_shape

Output shape

与输入的形状相同

如果对您有帮助，麻烦点赞关注，这真的对我很重要！！！如果需要互关，请评论留言！

TF2—tf.keras.layers.BatchNormalization相关推荐

批标准化 tf.keras.layers.BatchNormalization 中的trainable参数与training参数比较
巨坑提醒:tf.keras与tensorflow混用,trainable=False根本不起作用.正文不用看了. 摘要: 在tensorflow中,training参数和trainable参数是两个不 ...
批标准化 tf.keras.layers.BatchNormalization 参数解析与应用分析
Table of Contents 函数调用设置training=None时可能存在的问题 :tf.keras.backend.learning_phase()的特点批标准化函数产生的变量是可训练 ...
Tensorflow学习之tf.keras(一) tf.keras.layers.BatchNormalization
标准化输入/激活函数 tf.keras.layers.BatchNormalization( axis=-1, momentum=0.99, epsilon=0.001, center=True, ...
tf.keras.layers.BatchNormalization、tf.keras.layer.LayerNormalization函数
1.BatchNormalization函数函数原型 tf.keras.layers.BatchNormalization(axis=-1, momentum=0.99, epsilon=0.001 ...
深度学习-函数-tf.nn.embedding_lookup 与tf.keras.layers.Embedding
embedding函数用法 1. one_hot编码 1.1. 简单对比 1.2.优势分析: 1.3. 缺点分析: 1.4. 延伸思考 2. embedding的用途 2.1 embedding有两个 ...
tensorflow keras 上采样（放大图片） tf.keras.layers.UpSampling2D 示例
input_shape = (4, 28, 28, 3) # 样本数:4,图片大小:28 * 28,通道:3 inputs = tf.random.normal(input_shape) print( ...
tf.keras.layers.MaxPool2D 最大池化层示例
tf.keras.layers.MaxPool2D 最大池化层示例 import tensorflow as tf import numpy as np inputs = np.random.ran ...
tf.keras.layers.Conv1D 一维卷积示例
tf.keras.layers.Conv1D 一维卷积示例 import tensorflow as tf from tensorflow import keras import numpy as ...
tf.keras.layers.MaxPool2D 示例池化层
tf.keras.layers.MaxPool2D 示例池化层 import tensorflow as tf import numpy as np inputs = np.random.randi ...
tf.keras.layers.Resizing 示例改变维度的层
tf.keras.layers.Resizing 示例改变维度的层 import tensorflow as tf # 创建一个输入的张量 inputs = tf.random.normal([ 2 ...

TF2—tf.keras.layers.BatchNormalization

文章目录

BatchNormalization参数详解

TF2—tf.keras.layers.BatchNormalization相关推荐

最新文章

热门文章