keras中的神经网络为什么需要多次epoch

Δw(t)=−ε∂E∂w(t)+αΔw(t−1)(9)\Delta w(t)=-\varepsilon\frac{∂E}{∂w(t)}+\alpha\Delta w(t-1)(9)Δw(t)=−ε∂w(t)∂E+αΔw(t−1)(9)
我们知道反向传播每次迭代的效果是这样的:
w=w+Δw(t)w=w+\Delta w(t)w=w+Δw(t)

我们知道,每条训练数据都会导致训练的过程中,
计算一次∂E∂w(t)\frac{∂E}{∂w(t)}∂w(t)∂E,假如我的wiw_iwi初始化为0,最终的值是0.7
但是我的学习率ε=0.0001\varepsilon=0.0001ε=0.0001,一万条数据,
epoch=1够不够,可能够,也可能不够.
因为你想啊,就假如一个三层的神经网络
第一层和第二层之间有个wiw_iwi
第2层和第3层之间有个wjw_jwj
假设w在0~1之间,那么就有1/ε\varepsilonε=10000种取值,
并且层与层之间的w还得排列组合,这些排列组合虽然是根据∂E∂w(t)\frac{∂E}{∂w(t)}∂w(t)∂E不断调整www的,你能确保这些层与层之间的不同w的值的组合
刚好令loss(也就是E)最小吗?
显然不能,所以根据梯度下降的过程,你需要很多次epoch,才有可能让神经网络来拟合处满足当前训练集的模型.
一言概之,为啥需要多次epoch,
就是w=w+Δw(t)w=w+\Delta w(t)w=w+Δw(t)还没来得及迭代到最终的值.

当然最终的值很可能会让神经网络过拟合,这是后话.

keras中的神经网络为什么需要多次epoch相关推荐

Keras中神经网络可视化模块keras.utils.visualize_util安装配置方法
Keras中提供了一个神经网络可视化的函数plot,并可以将可视化结果保存在本地.plot使用方法如下: from keras.utils.visualize_util import plot plo ...
Ch2r_ood_understanding 本文档为论文限定领域口语对话系统中超出领域话语的对话行为识别的部分实验代码。代码基于Python，需要用到的外部库有： Keras（搭建神经网络） S
Ch2r_ood_understanding 本文档为论文限定领域口语对话系统中超出领域话语的对话行为识别的部分实验代码.代码基于Python,需要用到的外部库有: Keras(搭建神经网络) Sci ...
keras构建卷积神经网络_在Keras中构建，加载和保存卷积神经网络
keras构建卷积神经网络 This article is aimed at people who want to learn or review how to build a basic Convo ...
keras中文文档_【DL项目实战02】图像识别分类——Keras框架+卷积神经网络CNN（使用VGGNet）
版权声明:小博主水平有限,希望大家多多指导. 目录: [使用传统DNN] BG大龍:[DL项目实战02]图像分类--Keras框架+使用传统神经网络DNNzhuanlan.zhihu.com [使用 ...
Keras 中的循环神经网络 (RNN)
简介循环神经网络 (RNN) 是一类神经网络,它们在序列数据(如时间序列或自然语言)建模方面非常强大. 简单来说,RNN 层会使用 for 循环对序列的时间步骤进行迭代,同时维持一个内部状态 ...
keras构建卷积神经网络_在python中使用tensorflow s keras api构建卷积神经网络的初学者指南...
keras构建卷积神经网络初学者的深度学习 (DEEP LEARNING FOR BEGINNERS) Welcome to Part 2 of the Neural Network series! ...
神经网络在Keras中不work！博士小哥证明何恺明的初始化方法堪比“CNN还魂丹”...
铜灵发自凹非寺量子位出品 | 公众号 QbitAI 南巴黎电信学院(Télécom SudParis)的在读博士生Nathan Hubens在训练CNN时遇到点难题. 使用在CIFAR10数据 ...
keras构建前馈神经网络（feedforward neural network）进行分类模型构建基于早停法（Early stopping)
keras构建前馈神经网络(feedforward neural network)进行分类模型构建基于早停法(Early stopping) 当我们训练深度学习神经网络的时候通常希望能获得最好的泛化性 ...
keras构建卷积神经网络（CNN(Convolutional Neural Networks)）进行图像分类模型构建和学习
keras构建卷积神经网络(CNN(Convolutional Neural Networks))进行图像分类模型构建和学习全连接神经网络(Fully connected neural networ ...

keras中的神经网络为什么需要多次epoch

keras中的神经网络为什么需要多次epoch相关推荐

最新文章

热门文章