点击上方，选择星标或置顶，每天给你送干货！

阅读大概需要15分钟

跟随小博主，每天进步一丢丢

作者：潘瑞东

研究方向：机器学习和自然语言处理

导读

上一份笔记在介绍决策树的过程中我们提到了“决策树是许多集成学习算法的基础算法”。那么，什么是集成学习算法、集成学习算法有哪几种、它们彼此之间有什么区别、集成学习算法合起来性能一定会超过基础学习器吗？在接下来的几份笔记中，我们将会针对几种集成学习算法针对高频问题做推导和解答。

这份笔记将首先针对Adaboost和GBDT算法进行介绍，Adaboost和GBDT算法都属于集成学习中采用Boosting策略的算法，Boosting策略的本质思想就是通过高度相关的弱学习器，在每一轮的迭代重逐渐减小偏差。细分来看，Adaboost和GBDT算法对于减小偏差的方式各有不同：

Adaboost算法的核心是权重的调整：Adaboost在迭代中依据学习器每一轮的表现，调整样本权重和弱学习器权重，最终将多个弱学习器累加成一个强学习器。

GBDT (Gradient Boosting Decision Tree) 梯度提升树的核心在于残差的拟合：GBDT用损失函数的负梯度作为残差的估计值，使用CART回归是依据均方差进行拟合。

如果你刚刚接触集成学习算法，你可能会有如下疑惑：

  • Adaboost和随机森林有什么区别？

  • GBDT和Adaboost如何实现分类和回归？

  • GBDT和Adaboost有什么区别和联系？

  • GBDT如何应对过拟合？

  • 在实际使用中，GBDT为什么在高维稀疏特征的数据集上表现较差？

  • ...

这份笔记将会从个人的理解对这些问题进行推导和解答，如有疏漏，感谢提出~

笔记

投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

让更多的人知道你“在看”

【原创手写笔记】面试准备，关于Adaboost GBDT算法你需要知道的那些相关推荐

  1. 李永乐线性代数2020年强化课手写笔记汇总

    强化笔记整理如下,便于复习整理. [1]2020年李永乐线性代数强化笔记-行列式与矩阵 [2]2020年李永乐线性代数强化笔记-向量 [3]2020年李永乐线性代数强化笔记-线性方程组 [4]2020 ...

  2. 李永乐线性代数2020年基础课手写笔记汇总

    汇总于此,方便查询,如有帮助,副产品罢了. [1]线性代数手写笔记-行列式与矩阵 [2]线性代数手写笔记-向量 [3]线性代数手写笔记-线性方程组 [4]线性代数手写笔记-特征值和特征向量 [5]线性 ...

  3. 李永乐线性代数手写笔记-二次型

    李永乐线性代数基础知识,整理放在博客上面,方便自己复习查看. 概览请移步:李永乐线性代数2020年基础课手写笔记汇总 文章目录 一 二次型的概念和定理 二 化为标准形 三 正定二次型和正定矩阵 一 二 ...

  4. 李永乐线性代数手写笔记-特征值和特征向量

    李永乐线性代数基础知识,整理放在博客上面,方便自己复习查看. 概览请移步:李永乐线性代数2020年基础课手写笔记汇总 文章目录 一 特征值和特征向量 二 相似矩阵 三 实对称矩阵 一 特征值和特征向量 ...

  5. 李永乐线性代数手写笔记-线性方程组

    李永乐线性代数基础知识,整理放在博客上面,方便自己复习查看. 概览请移步:李永乐线性代数2020年基础课手写笔记汇总 文章目录 一 齐次方程组 二 非齐次方程组 三 公共解.同解 四 方程组的应用 一 ...

  6. 李永乐线性代数手写笔记-向量

    李永乐线性代数基础知识,整理放在博客上面,方便自己复习查看. 概览请移步李永乐线性代数2020年基础课手写笔记汇总 文章目录 一 基本概念和运算 二 线性表示 三 相关和无关 四 向量组和矩阵的秩 一 ...

  7. 李永乐线性代数手写笔记-行列式与矩阵

    李永乐线性代数基础知识,整理放在博客上面,方便自己复习查看. 概览请移步李永乐线性代数2020年基础课手写笔记汇总 文章目录 一 行列式 二 矩阵 一 行列式 二 矩阵

  8. SVM支持向量机-手写笔记（超详细：拉格朗日乘数法、KKT条件、对偶性质、最优化、合页损失、核函数...）

    SVM支持向量机-手写笔记 作者:某丁 日期:2021.05.21 写完了,发现想要真正理解SVM还需要继续深入学习,以上所写只不过是冰山一角,我的管中窥豹而已. 参考 [1] 一文搞懂支持向量机(S ...

  9. 计算机网络手写笔记图片,一键收藏！清华学子这样记笔记！

    原标题:一键收藏!清华学子这样记笔记! 还记得前段时间 朋友圈刷屏的清华学子笔记吗 整齐的排版. 清晰的思路无不令人赞叹 那么这些笔记是如何产生的呢? 相信看完下面这段视频 你会有更直观的了解 笔记教 ...

  10. 深度学习实战14(进阶版)-手写文字OCR识别，手写笔记也可以识别了

    大家好,我是微学AI,今天给大家带来手写OCR识别的项目.手写的文稿在日常生活中较为常见,比如笔记.会议记录,合同签名.手写书信等,手写体的文字到处都有,所以针对手写体识别也是有较大的需求.目前手写体 ...

最新文章

  1. 「不会开会」是个病，这本书能治吗？
  2. WeeklyBlogging_20100722
  3. 【译】Pure Proof-of-Stake Blockchains: Secure Blockchain Decentralization via Committees
  4. java.util.concurrent.Future基础
  5. mysql回表查询uuid_MySQL数据库回表与索引
  6. java中的equals和hashCode
  7. Bind 一些有趣的东西 【未完待续】
  8. Citrix发布支持Framehawk技术的HDX协议，用户体验优势进一步扩大
  9. 完整的棋牌游戏开发流程，你知道多少棋牌游戏开发。
  10. TextBox内容垂直居中
  11. Tomcat:JAVA_HOME should point to a JDK not a JRE解决
  12. PDF转CAD怎么转换?（所有格式格式转换方法通用）
  13. 网易邮箱登录php,PHP模拟登陆163邮箱发邮件及获取通讯录列表的方法
  14. pdfbox pdf转图片中的字体问题
  15. 我的第一本书《FFmpeg音视频开发基础与实战》已正式出版
  16. highcharts.js:61 Error: text attribute y: Expected length, NaNNaN.错误的解决
  17. php deflate 解压,PHP编码gzdeflate与Golang解码DEFLATE
  18. QT - 图像处理 ( 1 ) - QImage像素级操作 - (转灰度、亮度、暖色、冷色、饱和度、模糊、锐化、金属效果 )
  19. 每个汉字在DB2数据库中占多少个字节?
  20. 5G CPE 5G CPE功能优势

热门文章

  1. try catch finally return
  2. 结构与表现分离的思想
  3. 我遇到的JPA中事务回滚的问题
  4. ASP.NET三层架构的优点和缺点
  5. Yii1.0框架整合融云解析（一）
  6. BitmapFactory.decodeResource(res, id); 第一个参数跟第二个参数有什么关系？
  7. Django 模板标签[转]
  8. POJ 3311 Hie with the Pie （状压DP）
  9. 几种.NET平台数据持久化框架介绍
  10. PHP Socket编程起步