gbdt降低学习率可以实现正则化效果呢

问题：为什么降低学习率可以会有正则化效果呢？

因为一般根据在神经网络的经验而言，降低学习率，可以实现更高的训练效果，即进一步拟合；

在gbdt中，这个学习率与神经网络中的学习率担任的角色不一样；

gbdt中的学习率主要是调节每棵树的对预测结果的贡献；如果学习率下降，就降低了每棵树的贡献；模型训练的预测效果就会下降；为了达到和高学习率相同的效果，就需要生成更多的树；

当时的疑惑是如果下降学习率，那么就会生成更多的树，就会更加拟合；怎么会有正则化效果呢？

因为下降学习率，并没有增加更多的树，前提假设其他的超参是不变的；

在学习率等超参数固定的情况下，树的数量越多，就模型训练精度越高；

在树的数量等超参数固定的情况下，学习率越高，模型训练精度越高；

gbdt降低学习率可以实现正则化效果呢相关推荐

Pytorch（0）降低学习率torch.optim.lr_scheduler.ReduceLROnPlateau类
当网络的评价指标不在提升的时候,可以通过降低网络的学习率来提高网络性能.所使用的类 class torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer ...
电厂脱硫吸收塔消泡剂降低石灰石的用量，效果杠杠的
电厂脱硫吸收塔消泡剂是以聚硅氧烷结合化学反应的特点及后期便于净化工序而开发的消泡剂,具有特有化学惰性而被广泛应用于各种釜式和塔式反应中,针对电厂湿法脱硫起泡的特性而研制的,避免塔内液位虚高,浆液溢流. ...
Pytorch 各种模块：降低学习率，
1.训练过程中学习率衰减 if (self.e+1) > (self.num_epochs - self.num_epochs_decay):g_lr -= (self.g_lr / float ...
深度学习-通用模型调试技巧
欢迎添加华为云小助手微信(微信号:HWCloud002 或 HWCloud003),输入关键字"加群",加入华为云线上技术讨论群:输入关键字"最新活动",获取华 ...
（tensorflow笔记）神经网络中的一些关键概念（学习率、激活函数、损失函数、欠拟合和过拟合、正则化和优化器）
目录 1.神经网络复杂度空间复杂度时间复杂度 2.学习率策略指数衰减学习率分段常数衰减 3.激活函数 sigmoid tanh ReLU Leaky ReLU 建议 4.损失函数均方误差损失 ...
XGboost和GBDT区别及解读XGboost参数
GBDT和XGBoost区别传统的GBDT以CART树作为基学习器,XGBoost还支持线性分类器,这个时候XGBoost相当于L1和L2正则化的逻辑斯蒂回归(分类)或者线性回归(回归): 传统的G ...
深度学习基础(基本概念、优化算法、初始化、正则化等)
2020-04-25 16:29:09 引言深度学习目前已成为发展最快.最令人兴奋的机器学习领域之一,许多卓有建树的论文已经发表,而且已有很多高质量的开源深度学习框架可供使用.然而,论文通常非常简明 ...
机器学习之数学基础(四)～Lasso Regression回归, L1、L2 Regularization正则化, 回归问题中的损失函数
目录 1. Lasso回归 1.1 概念 1.2 正则化 1.3 Lasso回归模型 1.4 为什么Lasso Regression可以做降维? 1.5 参数求解 (1)坐标轴下降法 (2)最小角回归 ...
【机器学习】正则化的线性回归 —— 岭回归与Lasso回归
python风控评分卡建模和风控常识(博客主亲自录制视频教程) https://study.163.com/course/introduction.htm?courseId=1005214003&am ...

gbdt降低学习率可以实现正则化效果呢

gbdt降低学习率可以实现正则化效果呢相关推荐

最新文章

热门文章