介绍

LightGBM是使用基于树的学习算法的梯度增强框架。它被设计为分布式且高效的，具有以下优点：

训练速度更快，效率更高。
降低内存使用率。
更好的准确性。
支持并行和GPU学习。
能够处理大规模数据

LightGBM比XGBoost快将近10倍，内存占用率大约为XGBoost的1/6，并且准确率也有提升。官网地址：https://lightgbm.readthedocs.io/en/latest/

MML

由于LightGBM是python版的，而sparkML并不原生支持LightGBM，所以我们使用了微软的LightGBM On Spark，即MML项目。
官网地址：https://mmlspark.blob.core.windows.net/website/index.html
github地址：https://github.com/Azure/mmlspark

maven坐标：

 <dependency><groupId>com.microsoft.ml.spark</groupId><artifactId>mmlspark_2.11</artifactId><version>0.18.0</version></dependency><dependency><groupId>com.microsoft.ml.lightgbm</groupId><artifactId>lightgbmlib</artifactId><version>2.2.350</version></dependency>

相关jar包地址：
mmlspark:https://repo1.maven.org/maven2/com/microsoft/ml/spark/mmlspark_2.11/
lightgbmlib:https://repo1.maven.org/maven2/com/microsoft/ml/lightgbm/lightgbmlib/

SparkML -- LightGBM On Spark相关推荐

[机器学习] LightGBM on Spark (MMLSpark) 使用完全手册
一 Spark上训练模型优势与劣势 (1)机器学习算法一般都有很多个步骤迭代计算的过程,机器学习的计算需要在多次迭代后获得足够小的误差或者足够收敛才会停止,迭代时如果使用一般的Hadoop分布式计算框 ...
解读微软开源MMLSpark：统一的大规模机器学习生态系统
AI前线导读:目前,有很多深度学习框架支持与Spark集成,如Tensorflow on Spark等.然而,微软开源的MMLSpark不仅集成了机器学习框架(CNTK深度学习计算框架.LightGB ...
lightGBM专题2:基于pyspark在spark平台下lightgbm训练详解
数据集这里以数据集flight_weather.csv为例,文件下载地址:flight_weather.csv,将flight_weather.csv上传到hdfs,这里上传到目录/home/,必须 ...
Spark Machine Learning(SparkML):机器学习(部分二)
目录 6.分类和回归 6.1分类(Classification) 逻辑回归(LR) 决策树分类器(DTC) 随机森林分类器(RFC) 梯度提升树分类器(GBTC) 多层感知器分类器(MLPC) 线性支 ...
全面对比，深度解析 Ignite 与 Spark
经常有人拿 Ignite 和 Spark 进行比较,然后搞不清两者的区别和联系.Ignite 和 Spark,如果笼统归类,都可以归于内存计算平台,然而两者功能上虽然有交集,并且 Ignite 也会对 ...
开源|LightGBM：三天内收获GitHub 1000+ 星
原创 2017-01-05 LightGBM 微软研究院AI头条 [导读]不久前微软DMTK(分布式机器学习工具包)团队在GitHub上开源了性能超越其他boosting工具的LightGBM,在三天 ...
集成spark_全面对比，深度解析 Ignite 与 Spark
经常有人拿 Ignite 和 Spark 进行比较,然后搞不清两者的区别和联系.Ignite 和 Spark,如果笼统归类,都可以归于内存计算平台,然而两者功能上虽然有交集,并且 Ignite 也会对 ...
Ignite与Spark内存计算平台对比分析
为什么80%的码农都做不了架构师?>>> 经常有人拿Ignite和Spark进行比较,然后搞不清两者的区别和联系.Ignite和Spark,如果笼统归类,都会归类于内存计算平台 ...
python - 机器学习lightgbm相关实践
相关文章: R+python︱XGBoost极端梯度上升以及forecastxgb(预测)+xgboost(回归)双案例解读 python︱sklearn一些小技巧的记录(训练集划分/pipellin ...

SparkML -- LightGBM On Spark

向导

介绍

MML

SparkML -- LightGBM On Spark相关推荐

最新文章

热门文章