【TensorFlow】TensorFlow函数精讲之tf.contrib.layers.l1regularizer()-12

TensorFlow中计算L1正则化和L2正则化的函数：

L1正则化：tf.contrib.layers.l1regularizer(lambda)(w)函数，它可以返回一个函数，这个函数可以计算一个给定参数的L1正则化项的值。

L2正则化：tf.contrib.layers.12_regularizer(lambda)(w)函数可以计算L2正则化项的值。

lambda参数表示了正则化项的权重，也就是公式J（θ）＋λR(w）中的λ。w为需要计算正则化损失的参数。

正则化可以解决模型过拟合问题。

下边代码是计算L1和L2正则化：

import tensorflow as tfweights = tf.constant([[1.0, -2.0],[-3.0 , 4.0]])
with tf.Session() as sess:# 输出为(|1|+|-2|＋|-3|+|4|)x0.5=5。其中0.5为正则化项的权重。print("L1正则化值为：", end="")print(sess.run(tf.contrib.layers.l1_regularizer(0.5)(weights)))# 输出为((1)^2+(-2)^2＋(-3)^2+(4)^2)/2x0.5=7.5。其中0.5为正则化项的权重。# TensorFlow会将L2正则化损失值除以2使得求导得到的结果更加1简洁 。print("L2正则化值为：", end="")print(sess.run(tf.contrib.layers.l2_regularizer(0.5)(weights)))

结果为：

L1正则化值为：5.0
L2正则化值为：7.5

【TensorFlow】TensorFlow函数精讲之tf.contrib.layers.l1regularizer()-12_regularizer(lambda)相关推荐

TensorFlow基础篇（八）——tf.contrib.layers.l1regularizer()-12_regularizer(lambda)
TensorFlow中计算L1正则化和L2正则化的函数: L1正则化:tf.contrib.layers.l1regularizer(lambda)(w),它可以返回一个函数,这个函数可以计算一个给定 ...
【TensorFlow】TensorFlow函数精讲之tf.contrib.layers.flatten()
tf.contrib.layers.flatten(A)函数使得P保留第一个维度,把第一个维度包含的每一子张量展开成一个行向量,返回张量是一个二维的,返回的shape为[第一维度,子张量乘积). 一般 ...
【TensorFlow】TensorFlow函数精讲之tf.get_variable()和tf.get_variable_scope()
目录 1.tf.get_variable() 2.tf.variable_scope() 3.tf.variable_scope() 函数嵌套 1.tf.get_variable() tf.get_v ...
【TensorFlow】TensorFlow函数精讲之tf.nn.max_pool()和tf.nn.avg_pool()
tf.nn.max_pool()和tf.nn.avg_pool()是TensorFlow中实现最大池化和平均池化的函数,在卷积神经网络中比较核心的方法. 有些和卷积很相似,可以参考TensorFlow ...
【TensorFlow】TensorFlow函数精讲之tf.nn.conv2d()
博客之星评选,谢谢您的支持!微信.qq五连击投票(无需关注.无需登录) 人工智能博士(投票链接):http://m234140.nofollow.ax.mvote.cn/opage/4fddfa73- ...
【TensorFlow】TensorFlow函数精讲之tf.nn.softmax_cross_entropy_with_logits
tf.nn.softmax_cross_entropy_with_logits()函数是TensorFlow中计算交叉熵常用的函数. 后续版本中,TensorFlow更新为:tf.nn.softmax ...
【TensorFlow】TensorFlow函数精讲之tf.train.ExponentialMovingAverage()
tf.train.ExponentialMovingAverage来实现滑动平均模型. 格式: tf.train.ExponentialMovingAverage(decay,num_step) 参数 ...
【TensorFlow】TensorFlow函数精讲之 tf.nn.relu()
tf.nn.relu()函数是将大于0的数保持不变,小于0的数置为0,函数如图1所示. ReLU函数是常用的神经网络激活函数之一. 图1 ReLU函数图像下边为ReLU例子: import tens ...
【TensorFlow】TensorFlow函数精讲之 tf.random_normal()
tf.trandom_normal()函数是生成正太分布随机值此函数有别于tf.truncated_normal()正太函数,请参考本博客关于tf.truncated_normal()函数的介绍 ( ...

【TensorFlow】TensorFlow函数精讲之tf.contrib.layers.l1regularizer()-12_regularizer(lambda)

【TensorFlow】TensorFlow函数精讲之tf.contrib.layers.l1regularizer()-12_regularizer(lambda)相关推荐

最新文章

热门文章