TensorFlow Dropout

图 1：来自论文 "Dropout: A Simple Way to Prevent Neural Networks from Overfitting" (https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf)

Dropout 是一个降低过拟合的正则化技术。它在网络中暂时的丢弃一些单元（神经元），以及与它们的前后相连的所有节点。图 1 是 dropout 的工作示意图。

TensorFlow 提供了一个 tf.nn.dropout() 函数，你可以用来实现 dropout。

让我们来看一个 tf.nn.dropout()的使用例子。

keep_prob = tf.placeholder(tf.float32) # probability to keep unitshidden_layer = tf.add(tf.matmul(features, weights[0]), biases[0])
hidden_layer = tf.nn.relu(hidden_layer)
hidden_layer = tf.nn.dropout(hidden_layer, keep_prob)logits = tf.add(tf.matmul(hidden_layer, weights[1]), biases[1])

上面的代码展示了如何在神经网络中应用 dropout。

tf.nn.dropout()函数有两个参数：

hidden_layer：你要应用 dropout 的 tensor
keep_prob：任何一个给定单元的留存率（没有被丢弃的单元）

keep_prob 可以让你调整丢弃单元的数量。为了补偿被丢弃的单元，tf.nn.dropout() 把所有保留下来的单元（没有被丢弃的单元）* 1/keep_prob

在训练时，一个好的keep_prob初始值是0.5。

在测试时，把 keep_prob 值设为1.0 ，这样保留所有的单元，最大化模型的能力。

TensorFlow Dropout相关推荐

Tensorflow——Dropout(解决过拟合问题)
1.前言 Overfitting 也被称为过度学习,过度拟合.我们总是希望在机器学习训练时,机器学习模型能在新样本上很好的表现.过拟合时,通常是因为模型过于复杂,学习器把训练样本学得"太好了 ...
Tensorflow神经网络框架小例子三层神经网络卷积神经网络循环神经网络神经网络可视化
Tensorflow神经网络框架以前我们讲了神经网络基础,但是如果从头开始实现,那将是一个庞大且费时的工作,所以我们选择一条捷径---神经网络框架.我理解的神经网络框架就相当于一个工具包.就比如我们 ...
机器学习-Sklearn
Scikit learn 也简称 sklearn, 是机器学习领域当中最知名的 python 模块之一. Sklearn 包含了很多种机器学习的方式:Classification 分类 Regress ...
opencv 反色处理
原文链接: opencv 反色处理上一篇: TensorFlow 常见激活函数下一篇: TensorFlow dropout 函数暴力循环计算,计算量比较大,秒级 import cv2 as c ...
过拟和处理方法.md
数据层次增加数据量模型层次模型简单一些,更改输入数据类型: Dropout 注意事项: 构建placeholder 的时候加入 training 这个 bool 变量 : 在训练过程中加入 d ...
深度学习--TensorFlow（7）拟合（过拟合处理）（数据增强、提前停止训练、dropout、正则化、标签平滑）
目录拟合 1.拟合情况 2.抵抗过拟合方法过拟合处理(防止过拟合): 一.数据增强 1.设置图像生成器 2.载入图片 3.图像转三维数据 4.三维转四维 5.生成图片(用图像生成器) 代码二.提 ...
Tensorflow：tf.contrib.rnn.DropoutWrapper函数(谷歌已经为Dropout申请了专利！)、MultiRNNCell函数的解读与理解
Tensorflow:tf.contrib.rnn.DropoutWrapper函数(谷歌已经为Dropout申请了专利!).MultiRNNCell函数的解读与理解目录 1.tf.contrib. ...
【TensorFlow】TF-tf.nn.dropout
官方的接口是这样的 tf.nn.dropout(x, keep_prob, noise_shape=None, seed=None, name=None) 根据给出的keep_prob参数,将输入te ...
深度学习总结：用pytorch做dropout和Batch Normalization时需要注意的地方，用tensorflow做dropout和BN时需要注意的地方,
用pytorch做dropout和BN时需要注意的地方 pytorch做dropout: 就是train的时候使用dropout,训练的时候不使用dropout, pytorch里面是通过net.ev ...

TensorFlow Dropout

TensorFlow Dropout

TensorFlow Dropout相关推荐

最新文章

热门文章