SparkR对R的支持情况

开发十年，就只剩下这套Java开发体系了 >>>

Spark分为两大块：1基于hive的sql操作，2基于mllib的机器学习模型

1.Spark On Hive：在R下通过sql命令可完美支持对hive的增删改查；

2.MLLib的机器学习模型：分为普通机器学习模型和RDD版的机器学习模型，由于Spark目前将逐渐淘汰掉RDD版的API，所以这里不再包含RDD版的API：

1.基本数据统计：无R版，大概是R通过summary等基本命令即可完成；

2.ML Pipelines（数据管道）：无R版，大概是R本身就有DataFrame和Data.Table等，可以直接进行数据治理；

3.数据抽取、变换、特征选择：无R版，同上

4.分类和回归：

a.逻辑回归：spark.logit

b.决策树分类器：无R版，原因不明

c.随机森林分类器：spark.randomForest

d.梯度提升树分类器：spark.gbt

e.多层感知器分类器：spark.mlp

f.支持向量机：spark.svmLinear

g.一对多分类器（One-vs-All）：无R版，原因不明

h.朴素贝叶斯：spark.naiveBayes

i.线性回归：R只有一个广义线性回归的API: spark.glm

j.决策树回归：无R版，原因不明

k.随机森林回归：spark.randomForest 参数为regression即可

l.梯度提升树回归：同上

m.生存回归（survival regression）：spark.survreg

生存分析：通过研究个体间的相似性，预测个体的生存时间，主要用于生物寿命预测或机器设备寿命预测，详见：http://blog.csdn.net/jaen_tail/article/details/79081954

n.保序回归（isotonic regression）：spark.isoreg

保序回归：在不改变数据集顺序的前提下进行回归分析，主要用于药品毒性分析，详见：http://blog.csdn.net/legotime/article/details/51836014

5.聚类：

a.K-means：spark.kmeans

b.LDA：spark.lda

c.二分K均值（Bisecting k-means）：spark.bisectingKmeans

d.高斯混合模型（GMM）：spark.gaussianMixture

6.协同过滤：spark.als

7.频繁模式挖掘（FP-Growth）：spark.fpGrowth

8.模型选择与调参：无R版

综上所述Spark的MLLib并不是一个全面的机器学习框架，也是结合了spark自身业务特点的。

如果使用Spark+R的方式进行机器学习建模时，就需要根据MLLib的现状，合理选择模型方案。

SparkR对R的支持情况相关推荐

使用modernizr.js检测浏览器对html5以及css3的支持情况
使用modernizr.js检测浏览器对html5和css3的支持情况详情请看主页:modernizr主页 1. modernizr 是什么? modernize 是一个js库----一个用于检测当 ...
modernizr 支持html5,使用modernizr.js检测浏览器对html5以及css3的支持情况
使用modernizr.js检测浏览器对html5和css3的支持情况 1.modernizr 是什么? modernize 是一个js库----一个用于检测当前浏览器对html5&css3 ...
调研CSS选择器在浏览器中的支持情况
网上有很多这样的信息,很多的图表对各个浏览器进行比较,关于特性的支持,其实有些不全面,本文就日常常见的一些css选择器进行一个总结(本文在标准模式下). 1)关于:active,:link,:hove ...
支持html5特性的浏览器,HTML 5浏览器的支持情况
我经常看到有很多人询问HTML5某个特性当前各浏览器的支持情况.的确,因为HTML5内容庞大,特性众多,而浏览器的支持情况又混杂不一,随时都有可能变化,所以了解起来比较困难.在这里,我汇总了一些常用的 ...
报表工具流行度以及对linux的支持情况调研
以前程无忧为例,调研下企业最爱用的BI工具的应用频率 BI工具前程无忧上的招聘页码数量(页) 与大数据组建的配合使用对linux的支持情况 Power BI 9页可以连接kylin来分析hado ...
华为云.NET Core支持情况调查
各大公有云都提供了开发者开发的SDK,今天我们来看看华为云对.NET Core的支持情况怎么样? .NET SDK地址 https://developer.huaweicloud.com/sdk#.N ...
IE 浏览器各个版本 JavaScript 支持情况一览表
不同版本的 Internet Explorer 浏览器支持不同的 JavaScript 元素集.标准模式(有 <!doctype> 指令时 Internet Explorer 所有当前版本 ...
8种图数据库对 NULL 属性值支持情况
摘要:在语义网等图模型中,遵循开放世界假设,对于数据中未包含的事实,都认为是未知的而非假的. 本文分享自华为云社区<图数据库对 NULL 属性值支持情况>,原文作者:你好_TT . NUL ...
input 对伪元素(:before :after)的支持情况
最近做一个自定义视觉效果的Switch组件,用到了 input:radio 和 label,并在label里用伪元素 :before 模拟状态的切换效果. 但是同事评审的时候说可以不用label,直接 ...

SparkR对R的支持情况

SparkR对R的支持情况相关推荐

最新文章

热门文章