神经网络为什么需要多次epoch

Δw(t)=−ε
∂w(t)
∂E

+αΔw(t−1)(9)

我们知道反向传播每次迭代的效果是这样的:
w=w+Δw(t) w=w+\Delta w(t)
w=w+Δw(t)

我们知道,每条训练数据都会导致训练的过程中,
计算一次∂E∂w(t) \frac{∂E}{∂w(t)}
∂w(t)
∂E

,假如我的wi w_iw
i

初始化为0,最终的值是0.7
但是我的学习率ε=0.0001 \varepsilon=0.0001ε=0.0001,一万条数据,
epoch=1够不够,可能够,也可能不够.
因为你想啊,就假如一个三层的神经网络
第一层和第二层之间有个wi w_iw
i

第2层和第3层之间有个wj w_jw
j

假设w在0~1之间,那么就有1/ε \varepsilonε=10000种取值,
并且层与层之间的w还得排列组合,这些排列组合虽然是根据∂E∂w(t) \frac{∂E}{∂w(t)}
∂w(t)
∂E

不断调整w ww的,你能确保这些层与层之间的不同w的值的组合
刚好令loss(也就是E)最小吗?
显然不能,所以根据梯度下降的过程,你需要很多次epoch,才有可能让神经网络来拟合处满足当前训练集的模型.
一言概之,为啥需要多次epoch,
就是
w=w+Δw(t) w=w+\Delta w(t)
w=w+Δw(t)
还没来得及迭代到最终的值.

当然最终的值很可能会让神经网络过拟合,这是后话.
---------------------
作者：Chi Yus Blog
来源：CSDN
原文：https://blog.csdn.net/appleyuchi/article/details/86555315
版权声明：本文为博主原创文章，转载请附上博文链接！

神经网络为什么需要多次epoch相关推荐

keras中的神经网络为什么需要多次epoch
Δw(t)=−ε∂E∂w(t)+αΔw(t−1)(9)\Delta w(t)=-\varepsilon\frac{∂E}{∂w(t)}+\alpha\Delta w(t-1)(9)Δw(t)=−ε∂w ...
[深度学习] 神经网络中的 batch 和 epoch
参考文章为神经网络中Batch和Epoch之间的区别是什么? Sample Sample是单个数据.即有意义的数据的最小单位. 训练数据集由许多Sample组成. batch batch是一个人为设 ...
【CV】深度学习中Epoch, Batch, Iteration的含义
Epoch 使用训练集的全部数据样本进行一次训练,称为一次epoch,即所有训练集的样本都在神经网络中进行了一次正向传播和一次反向传播神经网络中需要有多次epoch,每次epoch中会进行一次更新权 ...
学习观察神经网络：可视化整个模型训练中卷积层的激活
全文共3425字,预计学习时长10分钟图源:www.raincent.com 深度学习是机器学习领域中一个新的研究方向,它被引入机器学习使其更接近于最初的目标--人工智能. 深度学习是学习样本数据的 ...
文字层一点就变红_学习观察神经网络：可视化整个模型训练中卷积层的激活
全文共3425字,预计学习时长10分钟图源:www.raincent.com 深度学习是机器学习领域中一个新的研究方向,它被引入机器学习使其更接近于最初的目标--人工智能. 深度学习是学习样本数据的 ...
【深度学习入门系列】径向基函数（RBF）神经网络原理介绍及pytorch实现（内含分类、回归任务实例）
文章目录 1 RBF神经网络 1.1 简介 1.2 步骤输入 rbf层核函数中心点求解方法输出 1.3 几个问题 2 分类 2.0 数据集 2.1 网络架构 2.2 代码 2.3 结果 3 回 ...
Datawhale组队学习-图神经网络（四）
Datawhale组队学习-图神经网络(四) 数据完全存于内存的数据集类 + 节点预测与边预测任务实践对于占用内存有限的数据集,我们可以将整个数据集的数据都存储到内存里.PyG为我们提供了方便的方式 ...
Keras TensorFlow教程：使用自己的数据集进行训练
大多数Keras教程都尝试使用图像分类数据集(如MNIST(手写识别)或基本对象CIFAR-10(基本对象识别))来开启Keras库的基础知识学习. 这篇文章将对Keras入门教程进行不同的尝试.使用 ...
别把引擎当汽车：AutoML不值得……
全文共3101字,预计学习时长6分钟猫和老鼠,第70集--机器猫(1952) 日常工作中,我经常用到AutoML(Automated Machine Learning,自动机器学习),在参加ML竞赛 ...

神经网络为什么需要多次epoch

神经网络为什么需要多次epoch相关推荐

最新文章

热门文章