分类算法-决策树、随机森林

  • 1.决策树
    • 1.1 认识决策树
    • 1.2 信息论基础-银行贷款分析
    • 1.3 决策树的生成
    • 1.4 决策树的划分依据之一-信息增益
    • 1.5 sklearn决策树API
    • 1.6 泰坦尼克号乘客生存分类
  • 2. 集成学习方法-随机森林

1.决策树

1.1 认识决策树

决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-then结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法

1.2 信息论基础-银行贷款分析







每猜一次给一块钱，告诉我是否猜对了，那么我需要掏多少钱才能知道谁是冠军？我可以把球编上号，从1到32，然后提问：冠 军在1-16号吗？依次询问，只需要五次，就可以知道结果。

32支球队，log32=5比特
64支球队，log64=6比特

*1948年，香农发表了划时代的论文——通信的数学原理，奠定了现代信息论的基础
信息的单位：比特

“谁是世界杯冠军”的信息量应该比5比特少。香农指出，它的准确信息量应该是：

H = -(p1logp1 + p2logp2 + … + p32log32)
H的专业术语称之为信息熵，单位为比特。
公式：

当这32支球队夺冠的几率相同时，对应的信息熵等于5比特
如果：不知道任何一个球队的信息的话，5bit 1/32 1/32
5=-(1/32logp1/32 + 1/32log1/32 + … + 1/32log1/32)
但是当开放一些数据信息时
5<-(1/4logp1/4 + 1/4log1/4 + … )
比如德国1/4 巴西1/4 中国1/4
当得到一些信息时，信息熵是减少的。信息熵越大，不确定性越大。

1.3 决策树的生成

1.4 决策树的划分依据之一-信息增益

注：信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少的程度

特征A对训练数据集D的信息增益g(D,A),
定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差，即公式为：

结合前面的贷款数据来看我们的公式：