Spark-Mllib(二)基本统计

一.基本统计量

统计向量的长度,最大值，最小值，非0个数，模1和模2,方差等

import org.apache.spark.mllib.linalg.{Vector,Vectors}

import org.apache.spark.mllib.stat.{MultivariateStatisticalSummary, Statistics}

val data=sc.parallelize(1 to 100,2)

val obs=data.map(x=>Vectors.dense(x))

val summary=Statistics.colStats(obs)

summary.mean

summary.max

二.相关系数

import org.apache.spark.SparkContext

import org.apache.spark.mllib.linalg._

import org.apache.spark.mllib.stat.Statistics

val x=sc.parallelize(1 to 3,2).map(_.toDouble)

val y=sc.parallelize(1 to 3,2).map(_.toDouble)

val correlation: Double = Statistics.corr(x, y, "pearson")

val data=sc.textFile("coo1").map(_.split(',')).map(_.map(_.toDouble)).map(x=>Vectors.dense(x))

val correlMatrix: Matrix = Statistics.corr(data, "pearson")

三.分成抽样

import org.apache.spark.SparkContext

import org.apache.spark.SparkContext._

import org.apache.spark.rdd.PairRDDFunctions

val info=sc.parallelize(List(('a',2),('a',3),('b',1),('b',3),('c',10),('d',100)))

val ff=Map('a'->0.5,'b'->1.0)

val infosample=info.sampleByKey(withReplacement = false, fractions=ff)

四.假设检验

假设检验是用于检测结果是否统计显著，事件结果是否偶然，mllib目前提供pearson卡方检验用于计算拟合优度检验和独立检验，

前者需要向量作为输入，后者需要矩阵作为输入

卡方拟合优度检验,一般用于检验样本是否符合某分布，理论频数与实际频数的偏差. 如果分布的参数未知，可考虑用mle

卡方独立性检验，一般针对列链表的形式，理论频数与实际频数的偏差。

五.kernel估计

kernal理论基础,参考Walter Zucchini的文章,主要介绍了几部分:

a.f(x)的估计

b.bandwidth的大小对f(x)估计的影响

c.w(t,h)与kernel函数的关系,w(t,h)=1/h * k(t/h)

d.最佳窗宽的选择,根据MISE最小化 [1/n*y(K)/b(f)]^(1/5),其中y(K)=j2*k2^-2

e.最佳kernel:Epanechnikov kernel

f.利用样本选择最佳窗框

转载于:https://www.cnblogs.com/tuitui1989/p/5337968.html

Spark-Mllib(二)基本统计相关推荐

python spark2.0_Python+Spark2.0+hadoop学习笔记——Python Spark MLlib决策树二分类
决策树是在数据分类问题中的一种常用且经典的机器学习方法,在本例里使用决策树模型来分析StumbleUpon数据集,来预测网页是暂时的(ephemeral)还是长青的(evergreen),并且调教参数 ...
Spark MLlib中支持二次训练的模型算法
在Spark MLlib中可以做二次训练的模型大家好,我是心情有点低落的一拳超人今天给大家带来我整理的Spark 3.0.1 MLlib库中可以做二次训练的模型总结,首先给大家介绍一下什么是二次训 ...
十二、Spark MLlib机器学习
@Author : By Runsen @Date : 2020/6/21 作者介绍:Runsen目前大三下学期,专业化学工程与工艺,大学沉迷日语,Python, Java和一系列数据分析软件.导致翘 ...
Spark MLlib学习笔记之二——Spark Mllib矩阵向量
Spark Mllib底层的向量.矩阵运算使用了Breeze库,Breeze库提供了Vector/Matrix的实现以及相应计算的接口(Linalg).但是在MLlib里面同时也提供了Vector和L ...
Spark MLlib 机器学习
本章导读机器学习(machine learning, ML)是一门涉及概率论.统计学.逼近论.凸分析.算法复杂度理论等多领域的交叉学科.ML专注于研究计算机模拟或实现人类的学习行为,以获取新知识.新 ...
基于Spark MLlib平台的协同过滤算法---电影推荐系统
协同过滤算法概述基于模型的协同过滤应用---电影推荐实时推荐架构分析一.协同过滤算法概述本人对算法的研究,目前还不是很深入,这里简单的介绍下其工作原理. 通常,协同过滤算法按照数据使用 ...
学习笔记Spark（九）—— Spark MLlib应用（1）—— 机器学习简介、Spark MLlib简介
一.机器学习简介 1.1.机器学习概念机器学习就是让机器能像人一样有学习.理解.认识的能力. 机器学习是一门人工智能的科学,该领域的主要研究对象是人工智能,特别是如何在经验学习中改善具体算法的性能. ...
spark MLlib平台的协同过滤算法---电影推荐系统
又好一阵子没有写文章了,阿弥陀佛...最近项目中要做理财推荐,所以,回过头来回顾一下协同过滤算法在推荐系统中的应用. 说到推荐系统,大家可能立马会想到协同过滤算法.本文基于Spark MLlib平台实 ...
Spark MLlib — Word2Vec
Word2vec 是 Google 在 2013 年开源的一款将词表征为实数值向量的高效工具.能够将单词映射到K维向量空间,同时由于算法考虑了每个单词的上下文环境,因此词向量表示同时具有语义特性.本文 ...
Spark大数据分析与实战：基于Spark MLlib 实现音乐推荐
Spark大数据分析与实战:基于Spark MLlib 实现音乐推荐基于Spark MLlib 实现音乐推荐一.实验背景: 熟悉 Audioscrobbler 数据集基于该数据集选择合适的 ML ...

Spark-Mllib(二)基本统计

Spark-Mllib(二)基本统计相关推荐

最新文章

热门文章