【機器學習筆記】xgboost中的min_child

對於xgboost,min_child_weight是一個非常重要的參數，官方文檔描述如下：

minimum sum of instance weight (hessian) needed in a child. If the tree partition step results in a leaf node with the sum of instance weight less than min_child_weight, then the building process will give up further partitioning. In linear regression mode, this simply corresponds to minimum number of instances needed to be in each node. The larger, the more conservative the algorithm will be.

直譯即：決定最小葉子節點樣本權重和。如果在一次分裂中，葉子節點上所有樣本的權重和小于min_child_weight則停止分裂，能夠有效的防止過擬合，防止學到特殊樣本。

解釋什么是樣本的權重和：
對於回歸問題，在一個節點上的損失為：

這個表達式的相對於yihatyihaty_i hat的二階導數為1。所以，對於這個節點上所有點的二階導數的加和，即所有樣本格數的和，即樣本權重和。在這裏，min_child_weight代表的意思是，儅一個節點下的樣本數小於給定的閾值時，則停止分裂！
對於二分類的邏輯回歸（a binary logistic regression）,在節點上每一個點的海森矩陣（hessian）的表達式是：

其中σ代表sigmod函數。所以對於所有衹有一個樣本的節點node，則，所有的yiyiy_i hat有可能是一個非常大的正數，則所有的都將接近1，則整個海森表達式接近於0，則在每個節點上的樣本權重都會接近於0，因此，此時min_child_weight代表一旦达到某个节点的纯度并停止尝试分裂，并且您的模型可以适合它。
海森矩陣是一個明智的選擇，能夠起到正則化并且限制樹的深度防止過擬合的作用。对于回归，很容易看出如果你总是用一个观察值分解到节点，你可能会过度拟合。同样，对于分类，如果你坚持分裂直到每个节点都是纯粹的，那麽也會導致過擬合的狀態。

參考：
1.https://stats.stackexchange.com/questions/317073/explanation-of-min-child-weight-in-xgboost-algorithm#
2.https://stats.stackexchange.com/questions/268276/what-does-min-child-weight-option-mean-in-xgboost-package-in-r-how-to-decide

【機器學習筆記】xgboost中的min_child_weight參數理解。相关推荐

FileMaker中的腳本觸發器學習筆記
脚本触发器 **脚本触发器是始终绑定到用户布局接口.对于数据表或者字段.只有在而已接口才能触发. **如果某一个布局或者对象上包含触发器,则其右下角会有触发器图标 **当触发一个事件时,有且仅有一个触 ...
[課程筆記] 機器學習2021(李弘毅) L29.概述增強式學習(一)
目录 A. What is RL ? 1. Machine learning ~ Looking for a Function 2. Example: Playing Video Game 3. Ex ...
[課程筆記] 機器學習2021(李弘毅) L32.概述增強式學習(四)
Reward Shaping Sparse Reward 许多场景中,大多数情况下并没有奖励,像是: 围棋: 平常落子没有奖励,只有棋局结束时才有奖励(输/赢) 机器人栓螺丝: 大多数动作都没有奖励, ...
[課程筆記] 機器學習基石 - W7. The VC Dimension
目录 Video1: Definition of VC Dimension Recap: More on Growth Function Recap: More on VC bound VC Dime ...
【機器學習2021】預測本頻道觀看人數 (下) - 深度學習基本概念簡介
机器学习 2021 - Introduction of Machine / DeepLearning \qquadLinear 的 Model 也許太過簡單了,怎麼說它太過簡單呢?我們可以想像說 x1 ...
完整學習機器學習實錄 1 —— 安裝 Ubuntu 18.04
安裝 Ubuntu 18.04 前言硬體配置這邊需要注意的系統安裝基本知識製作與開始安裝 Ubuntu 釐清問題 --- ACPI 是啥? 釐清問題 --- NVME SSD 結論前言本 ...
OpenCV學習筆記（6）基於 VC+OpenCV+DirectShow 的多個攝像頭同步工作
http://blog.csdn.net/chenyusiyuan/article/details/4643313 因項目需要采集2個攝像頭的數據進行雙目檢測,一開始采用以下代碼來測試: #inclu ...
周志華《機器學習》圖4.4和图4.9繪制(轉載+增加熵顯示功能)
代碼來自參考鏈接: https://blog.csdn.net/leafage_m/article/details/79629074 本文的貢獻是: ①修正參考鏈接中,算法第3種情況中的投票問題的相關 ...
python操作txt找到最便宜的素菜_Python線性模型學習筆記
歡迎關注Python愛好者社區,我們是專註於商業智能BI,大數據,數據分析領域的垂直社區,學習,問答.求職一站式搞定! 天善學院618活動正在進行中!天善學院618大禮包,大數據.數據分析與數據挖掘. ...
潭州python学院12306案例_人工智慧時代來臨，潭州教育開設Python課程帶學員入門機器學習...
當今時代,隨著人工智慧科技的飛速發展,人工智慧逐漸深入社會生活生産的方方面面.根據<2019中國人工智慧發展報告>相關數據顯示,人工智慧行業的融資規模呈上升趨勢.在當紅的人工智慧領域,機器 ...

【機器學習筆記】xgboost中的min_child_weight參數理解。

【機器學習筆記】xgboost中的min_child_weight參數理解。相关推荐

最新文章

热门文章