https://www.toutiao.com/a6718749367164994055/

什么是正则化？

首先英文原文为regularization，直译应为规则化，简单来说就是对模型加入规则，加入我们的先验知识，如果觉得正则化太难理解，可以按照规则化来理解记忆。

切入正题，正则化说的就是对模型引入额外信息来防止模型过拟合与提高模型泛化性能的方法统称。一般是对模型复杂程度加以惩罚，目标是降低模型的复杂度（模型的结构化风险），根据奥卡姆剃刀原理，精度靠谱的情况下越简单的模型是越值得选择的模型。

从贝叶斯角度来看，正则化是对模型加了一个先验概率，常用的L1正则化属于拉普拉斯分布先验，L2属于正态分布先验。

常用的正则化方法有哪些？

直接限制模型参数的方法：

L1，L2等惩罚项
参数共享
多任务学习（此方法也用到了参数共享）

从数据集入手的方法：

增加噪音

对输入数据
对隐层权重
对输入目标

b.增大数据集

c.重采样

集成化方法（通过训练多个不同的模型，并让所有模型一起表决测试集的输出）：
bagging
dropout
其他：
early stop
交叉验证（bagging为又放回采样，而交叉验证可以理解为无放回模型平均）

人工智能算法模型必会之——正则化方法综述相关推荐

史上最大，人工智能算法模型 GPT-3 问世，这意味着什么？
作者 | 谭婧来源 | 亲爱的数据封图 | CSDN 付费下载自东方 IC 2020年,年中. 人类历史上最大的人工智能模型,来到人间. 这个体格巨大的北鼻,哭声嘹亮,告知全世界:"我写 ...
【机器学习】算法模型自动超参数优化方法
什么是超参数? 学习器模型中一般有两类参数,一类是可以从数据中学习估计得到,我们称为参数(Parameter).还有一类参数时无法从数据中估计,只能靠人的经验进行设计指定,我们称为超参数(Hyper ...
全网最全：机器学习算法模型自动超参数优化方法汇总
什么是超参数? 学习器模型中一般有两类参数,一类是可以从数据中学习估计得到,我们称为参数(Parameter).还有一类参数时无法从数据中估计,只能靠人的经验进行设计指定,我们称为超参数(Hyper ...
人工智能算法模型--Alpha-Beta剪枝算法学习笔记
⬜⬜⬜
人工智能算法模型--Minimax(极大极小)搜索算法学习笔记
⬜⬜⬜
模型的搜索和优化方法综述：
一.常用的优化方法: 1.爬山 2.最陡峭下降 3.期望最大值二.常用的搜索方法: 1.贪婪搜索 2.分支界定 3.宽度(深度)优先遍历转载于:https://www.cnblogs.com/xy ...
Python3破冰人工智能，你需要掌握一些数学方法
为什么要把数学建模与当今火热的人工智能放在一起? 首先,数学建模在字面上可以分解成数学+建模,即运用统计学.线性代数和积分学等数学知识,构建算法模型,通过模型来解决问题.数学建模往往是没有对与错,只有 ...
【研究计划书】基于人工智能算法的肿瘤代谢问题研究
基于人工智能算法的肿瘤代谢问题研究基于人工智能算法的肿瘤代谢问题研究一.研究概述 1.1 研究背景 1.2 研究现状 1.3 研究方法二.研究内容 2.1 肿瘤代谢过程和生物标志物识别 2.2 ...
人工智能算法的可解释性方法研究
来源:数学与人工智能摘要以深度学习为代表的人工智能技术在信息领域的应用,极大地提高了信息的利用效率和挖掘价值,深刻的影响了各领域的业务形态,同时也引发了监管部门和用户对这一新技术运用中出现的 &q ...

人工智能算法模型必会之——正则化方法综述

什么是正则化？

常用的正则化方法有哪些？

人工智能算法模型必会之——正则化方法综述相关推荐

最新文章

热门文章