机器学习、深度神经网络的认识与结论

2024-05-08 03:36:37

0. 深度神经网络的分类

General DL
- FC：Fully Connected
Sequence Models：
- 1D 数据
- RNN、LSTM
Image
- 2D、3D
- CNN
Unsupervised Learning
Reinforcement Learning

1. iteration vs epoch

iteraton：迭代次数，表达的是样本内部，当分类精度达到饱和或者叫分类精度收敛时，迭代停止，最终执行的迭代次数是不定的。
epoch：表达的是样本间，进行一次epoch，对全体样本进行一次学习与训练。当然样本与样本都是相同，也即使用相同样本进行的训练。epoch的次数是固定的，除非发生early stopping。

反映在代码中：

while epoch < epochs:       # for j in range(epochs):epoch += 1 for mini_batch_index in range(n_train_batches):iter = (epoch-1)*n_train_batches + mini_batch_index# 迭代次数以mini_batch为单位

2. 关于validation_data

机器学习（监督学习）有关的数据形式：

training data
test data
validation data

Instead of using the test_data to prevent overfitting（避免模型过于复杂）, we will use the validation_data.

也即我们使用validation_data避免过拟合，而不是使用test_data。

我们不仅通过validation data的使用避免过拟合，更一般地，我们使用validation data进行超参的选择。

3. validation data 与 early stopping

我们在validation data上所做的工作和在test data上做的工作是一样的，那就是在每次epoch（一次epoch，表示对全部数据进行一次训练，当然在对全部数据进行训练时也可采用**S**tochastic **G**radient **D**escent的学习方法）结束之时，计算这次的分类精度。一旦在validation data上的分类精度出现了饱和的情况（也即增高不显著），我们就停止训练。这种策略就叫做early stopping。

当然在实际中，我们也并非立刻就能知道何时发生精确率的饱和现象。我们将继续对模型的训练，直到我们有足够的自信确定精确率发生饱和。

机器学习、深度神经网络的认识与结论相关推荐

【机器学习网络】神经网络与深度学习-6 深度神经网络（deep neural Networks DNN）
目录深度神经网络(deep neural Networks DNN) DNN的底层原理深度学习网络的问题: 案例1:书写数字识别(梯度下降法详解) 男女头发长短区分案例(为什么隐藏层追求深度): ...
【数值分析×机器学习】以SVD的分解形式进行深度神经网络的训练（逐渐熟练）
英文标题:Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Sin ...
云中的机器学习：FPGA 上的深度神经网络
人工智能正在经历一场变革,这要得益于机器学习的快速进步.在机器学习领域,人们正对一类名为"深度学习"算法产生浓厚的兴趣,因为这类算法具有出色的大数据集性能.在深度学习中,机器可以在 ...
机器学习——深度学习之卷积神经网络（CNN）——AlexNet卷积神经网络结构
目录一.AlexNet卷积神经网络结构模型 1.数据库ImageNet 2.AlexNet第一层卷积层二.AlexNet卷积神经网络的改进 1.非线性变化函数的改变--ReLU 2.最大池化(Ma ...
机器学习——深度学习之卷积神经网络（CNN）——LeNet卷积神经网络结构
目录一.卷积神经网络 1.卷积神经的作用 2.LeNet 1)数据库准备--minst 2)模型· 二.关于卷积神经网络结构的一些术语定义 1.特征图(Feature map) 2.height(长 ...
dnn神经网络_【李宏毅机器学习笔记】深度神经网络(DNN)
当我们训练网络的时候,通常会出现如下两种情况: 第一种情况:训练数据表现不好,这种时候通常可以使用新的激活函数,或者调整学习率. 第二种情况:训练数据表现的很好,但是测试数据的表现很差,这个时候可以提 ...
机器学习笔记——神经网络与深度学习
机器学习笔记--神经网络与深度学习一.神经网络引言二.神经元模型与激活函数 2.1 神经元模型 2.2 激活函数 2.2.1 sigmoid & tanh 2.2.2 ReLU激活函数 2 ...
【机器学习算法面试题】四.深度神经网络中激活函数有哪些？
欢迎订阅本专栏:<机器学习算法面试题> 订阅地址:https://blog.csdn.net/m0_38068876/category_11810806.html [机器学习算法面试题]一 ...
对抗机器学习系列——深度神经网络的盲点
1.引言近些年,深度学习在计算机视觉领域取得了很好的表现,引领了第三次人工智能的浪潮.目前大部分表现优异的应用都用到了深度学习,大红大紫的 AlphaGo 就使用到了深度学习. 但是本期讲的 ...

最新文章

热门文章