前言

起初由于团队项目临时需要，花了个一两、天的时间直接仓促上手了机器学习算法。直至最近回顾机器学习的模型评估与选择方面的内容时，才幡然发现在初识机器学习阶段对于个别知识点的理解存在偏差，故特别记录下自身对于模型训练过程中的几个不正确的认识。

一、“参数”与“超参数”

通常所述的模型调参，是指算法的“超参数”，可以理解为模型的“外部参数”；

周志华老师在机器学习一书中对于“超参数”的定义是：“超参数”是指算法的参数，数目通常在10以内。比如决策树模型中的最大深度、结点划分的最小样本数等，通过人工设定这类参数的具体数值即产生模型。

模型参数，是指在模型训练中通过训练样本获得的最优参数，可理解为模型的“内部参数”；

而“模型参数”，数目可能很多，例如大型“深度学习”模型甚至有上百亿个参数，其通过学习来产生多个候选模型。比如神经网络的连接权值。

二、模型训练与最终模型

起初在大量的Copy&Paste中，误以为模型样本上产生的模型就是最终模型，今天回顾周志华老师的机器学习时发现事实貌似并不如此。模型训练本质上是在训练样本上产生模型，但训练样本规模并无法与真实的数据样本规模一致，从而可能会存在一定的估计偏差。因此，在完成一轮模型训练后在已经确定模型超参数的情况下，应该在原始数据集上再完成一轮训练才得到最终模型。

三、参考文献

周志华，机器学习，北京：清华大学出版社，2016.

模型的“参数”与“超参数”相关推荐

机器学习填坑：你知道模型参数和超参数之间的区别吗？
翻译 | AI科技大本营(rgznai100) 参与 | 姜沂,焦燕导语机器学习中的模型参数和模型超参数在作用.来源等方面都有所不同,而模型超参数常被称为模型参数,这样,很容易对初学者造成混淆.本 ...
4.7 参数 vs 超参数-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 4.6 前向和反向传播回到目录 4.8 这和大脑有什么关系参数 vs 超参数 (Parameters vs. Hyperparameters) 想要你的深度神经网络起很好 ...
吴恩达深度学习 —— 4.7 参数 vs. 超参数
想要你的深度神经网络起很好的效果,你还需要规划好你的参数以及超参数,那么什么是超参数呢?我们看一下模型里的参数WWW和bbb,在学习算法中还有其它参数,需要输入到学习算法中,比如学习率α\alphaα ...
CS231n 卷积神经网络与计算机视觉 7 神经网络训练技巧汇总梯度检验参数更新超参数优化模型融合等
前面几章已经介绍了神经网络的结构.数据初始化.激活函数.损失函数等问题,现在我们该讨论如何让神经网络模型进行学习了. 1 梯度检验权重的更新梯度是否正确决定着函数是否想着正确的方向迭代,在UFLDL ...
深度学习-参数与超参数
参数(parameters)/模型参数由模型通过学习得到的变量比如权重.偏置超参数(hyperparameters)/算法参数根据经验进行设定,影响到权重和偏置的大小比如迭代次数.隐藏层的层 ...
python代码设置超参数_超参数调优总结，贝叶斯优化Python代码示例
本文介绍超参数(hyperparameter)的调优方法. 神经网络模型的参数可以分为两类,模型参数,在训练中通过梯度下降算法更新: 超参数,在训练中一般是固定数值或者以预设规则变化,比如批大小(ba ...
深度学习-参数和超参数介绍
参数是我们训练神经网络最终要学习的目标,最基本的就是神经网络的权重 W和bias b,我们训练的目的,就是要找到一套好的模型参数,用于预测未知的结果.这些参数我们是不用调的,是模型来训练的过程中自动 ...
4.7 参数 VS 超参数
超参数: 学习速率迭代次数隐藏层数隐藏神经元激活函数其他参数 momentum mini batch 大小规则化参数超参数是控制参数的,在机器学习中最好正规的称调参,为调超参. 调参基本 ...
机器学习模型的超参数优化 | 原力计划
作者 | deephub 责编 | 王晓曼出品 | CSDN博客头图 | CSDN付费下载自东方IC 引言模型优化是机器学习算法实现中最困难的挑战之一.机器学习和深度学习理论的所有分支都致力于模 ...

模型的“参数”与“超参数”

前言

一、“参数”与“超参数”

二、模型训练与最终模型

三、参考文献

模型的“参数”与“超参数”相关推荐

最新文章

热门文章