天池龙珠训练营-机器学习学习笔记-03 LightGBM 分类

天池龙珠训练营-机器学习学习笔记-03 LightGBM 分类
本学习笔记为阿里云天池龙珠计划机器学习训练营的学习内容，学习链接为：训练营

一原理简介：

它是一款基于GBDT（梯度提升决策树）算法的分布式梯度提升框架，为了满足缩短模型计算时间的需求，LightGBM的设计思路主要集中在减小数据对内存与计算性能的使用，以及减少多机器并行计算时的通讯代价。

LightGBM可以看作是XGBoost的升级豪华版，在获得与XGBoost近似精度的同时，又提供了更快的训练速度与更少的内存消耗。
LightGBM的主要优点：

简单易用。提供了主流的Python\C++\R语言接口，用户可以轻松使用LightGBM建模并获得相当不错的效果。
高效可扩展。在处理大规模数据集时高效迅速、高准确度，对内存等硬件资源要求不高。
鲁棒性强。相较于深度学习模型不需要精细调参便能取得近似的效果。 LightGBM直接支持缺失值与类别特征，无需对数据额外进行特殊处理

LightGBM的主要缺点：

相对于深度学习模型无法对时空位置建模，不能很好地捕获图像、语音、文本等高维数据。
在拥有海量训练数据，并能找到合适的深度学习模型时，深度学习的精度可以遥遥领先LightGBM。

二目标

了解 LightGBM 的参数与相关知识
掌握 LightGBM 的Python调用并将其运用到英雄联盟游戏胜负预测数据集上

三实战：（天气数据集预测）

Step1: 库函数导入
基础的函数库包括：

numpy （Python进行科学计算的基础软件包），
pandas（pandas是一种快速，强大，灵活且易于使用的开源数据分析和处理工具），
matplotlib和seaborn绘图。推荐教程

Step2: 数据读取/载入

 !wget https://tianchi-media.oss-cn-beijing.aliyuncs.com/DSW/8LightGBM/high_diamond_ranked_10min.csv##下载需要用到的数据集

df = pd.read_csv('./high_diamond_ranked_10min.csv')## 利用Pandas自带的read_csv函数  --读取并---转化为DataFrame格式

```
 y = df.blueWins
```

Step3: 数据信息简单查看

 df.info()      ## 利用.info()查--看数据的整体信息

df.head()## 进行简单的---数据查看，利用 .head() 头部; .tail()尾部

 x.describe()## 对于特征进行一些统计描述

Step4: 可视化描述
小提琴图—sns.violinplot

相关性热力图----sns.heatmap
散点图------sns.swarmplot
根据特征相关性等进行特征删除、构造。
Step5: 利用 LightGBM 进行训练与预测

数据集划分构造模型

from lightgbm.sklearn import LGBMClassifier## 导入---LightGBM模型

clf = LGBMClassifier()## 定义--- LightGBM 模型

clf.fit(x_train, y_train)  # 在训练集上---训练LightGBM模型

在训练集和测试集上分布利用训练好的模型进行预测
利用----accuracy（准确度）【预测正确的样本数目占总预测样本数目的比例】评估模型效果
查看------混淆矩阵 (预测值和真实值的各类情况统计矩阵)
利用-------热力图对于结果进行可视化

Step6: 利用 LightGBM 进行特征选择

LightGBM的特征选择属于特征选择中的嵌入式方法，在LightGBM中可以用属性feature_importances_去查看特征的重要度。

sns.barplot(y=data_features_part.columns, x=clf.feature_importances_)

初次之外，我们还可以使用LightGBM中的下列重要属性来评估特征的重要性。
2. gain:当利用特征做划分的时候的评价基尼指数
3. split:是以特征用到的次数来评价

Step7: 通过调整参数获得更好的效果
LightGBM中包括但不限于下列对模型影响较大的参数：

learning_rate: 有时也叫作eta，系统默认值为0.3。每一步迭代的步长，很重要。太大了运行准确率不高，太小了运行速度慢。
num_leaves：系统默认为32。这个参数控制每棵树中最大叶子节点数量。
feature_fraction：系统默认值为1。我们一般设置成0.8左右。用来控制每棵随机采样的列数的占比(每一列是一个特征)。
max_depth：系统默认值为6，我们常用3-10之间的数字。这个值为树的最大深度。这个值是用来控制过拟合的。max_depth越大，模型学习的更加具体。

调节模型参数的方法有贪心算法、网格调参、贝叶斯调参等。
得到优化的参数后重新进行训练、预测、准确度计算。