epochs,batches,dropout是什么？

最近几天刚接触了深度学习方法的3D人脸识别，整个人懵懵的，好多名词初次见面，没有专业的课本定义，所以，也是从各位博主的总结中学习，一点点积累，方便日后查看。也就不拐弯抹角了，单刀直入主题。

epochs：当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一个 epoch。

然而，当一个 epoch 对于计算机而言太庞大的时候，就需要把它分成多个小块。

为什么要使用多于一个 epoch？

在神经网络中传递完整的数据集一次是不够的，而且我们需要将完整的数据集在同样的神经网络中传递多次。但是请记住，我们使用的是有限的数据集，并且我们使用一个迭代过程即梯度下降。因此仅仅更新权重一次或者说使用一个 epoch 是不够的。

batches：在不能将数据一次性通过神经网络的时候，就需要将数据集分成几个 batch。（类比一下mini-batch gradient descent）

dropout:网络结构中会有dropout layer，可以把dropout理解为模型平均，或者可以这么理解，这n个网络，它们权值共享，并且具有相同的网络层数(这样可以大大减小计算量)。我们每次dropout后，网络模型都可以看成是整个网络的子网络。(需要注意的是如果采用dropout，训练时间大大延长，但是对测试阶段没影响)。

就目前所知，它可以防止过拟合，提高网络的泛化能力。

dropout就是下面的的过程欸，好吧，我们一起学习~~~

感谢大神们的总结： http://www.dataguru.cn/article-12193-1.html

https://blog.csdn.net/amds123/article/details/69945787

epochs,batches,dropout是什么？相关推荐

手势识别：使用EfficientNet模型迁移、VGG16模型迁移
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) EfficientNet中的每个模型要求的输入形状大小每个网 ...
Python 深度学习架构实用指南：第一、二部分
原文:Hands-On Deep Learning Architectures with Python 协议:CC BY-NC-SA 4.0 译者:飞龙本文来自[ApacheCN 深度学习译文集] ...
CCKS-2019-IPRE baseline sentence level 代码理解
1. 导库 import numpy as np import tensorflow as tf import random import os import datetime from collec ...
【论文阅读】DeepPap: Deep Convolutional Networks for Cervical Cell Classification
写在前面:该文章发于期刊. DeepPap: Deep Convolutional Networks for Cervical Cell Classification Ling Zhang, Le L ...
论文译文——BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
文章目录摘要 1. 简介 2. 相关工作 2.1 Unsupervised Feature-based Approaches(基于特征的无监督的方法) 2.2 Unsupervised Fine-t ...
手撕python_GitHub - caishiqing/manual: 手撕机器学习
手撕机器学习用腻了开源框架,尝试下手撕机器学习模型?写这个手撕机器学习系列,旨在不使用任何开源框架的条件下手推实现各种模型,同时保证高性能. Requirements 适用于python2.7与py ...
《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》论文翻译--中英对照
文章目录 1 Introduction(简介) 2 Related Work(相关工作) 2.1 Feature-based Approaches(基于特征的方法) 2.2 Fine-tuning A ...
[翻译] 神经网络与深度学习第六章深度学习 - Chapter 6 Deep learning
目录: 首页译序关于本书关于习题和难题第一章利用神经网络识别手写数字第二章反向传播算法是如何工作的第三章提升神经网络学习的效果第四章可视化地证明神经网络可以计算任何函数第五章 ...
Recognising Traffic Signs
转载自:https://towardsdatascience.com/recognizing-traffic-signs-with-over-98-accuracy-using-deep-learni ...

epochs,batches,dropout是什么？

epochs,batches,dropout是什么？相关推荐

最新文章

热门文章