Spark sample入门到精通

Spark 采样是一种从数据集获取随机采样记录的机制，当您拥有较大的数据集并且想要分析/测试数据子集（例如原始文件的 10%）时，这非常有用。

Spark 提供了 RDD、DataFrame 和DataSet API 上的采样方法来获取样本数据，本文将介绍如何获取随机采样记录以及如何每次运行时获取相同的随机采样，以及更多使用 scala 示例获取更多示例。

数据分析师和数据科学家最常用数据采样来获取数据集子集的统计数据，然后再将其应用于大型数据集。

dataframe 取样

val spark: SparkSession = SparkSession.builder().master("local[1]").appName("SparkByExample").getOrCreate();
val df: Dataset[lang.Long] = spark.range(100)
println(df.count()) //100
//取样10%,但是并不精确,比如这里某次取出来的结果就不是10个
//3,17,40,55,58,66,73,93 而是8个
val sadf: Dataset[lang.Long] = df.sample(withReplacement = false, 0.1)
println(sadf.collect().mkString(","))

取样,要求每次返回相同的结果,就需要设置种子的值

val spark: SparkSession = SparkSession.builder().master("local[1]").appName("SparkByExample").getOrCreate();
val df: Dataset[lang.Long] = spark.range(100)
println(df.count()) //100
//第三个参数代表种子,可以保证每次取样都是相同的结果
//13,34,46,60,68,86,88
val sadf: Dataset[lang.Long] = df.sample(withReplacement = false, 0.1,123)
println(sadf.collect().mkString(","))

取样,如果要求可以重复

val spark: SparkSession = SparkSession.builder().master("local[1]").appName("SparkByExample").getOrCreate();
val df: Dataset[lang.Long] = spark.range(100)
println(df.count()) //100
//取完样后还放回去,就是可以重复取出某个元素,第一个参数设为true
//0,5,9,11,14,14,16,17,21,29,33,41,42,52,52,54,58,65,65,71,76,79,85,96
val sadf: Dataset[lang.Long] = df.sample(withReplacement = true, 0.3,123)
println(sadf.collect().mkString(","))

RDD采样

val spark: SparkSession = SparkSession.builder().master("local[1]").appName("SparkByExample").getOrCreate();
val rdd: RDD[Long] = spark.sparkContext.range(0, 100)
//9,38,40,52,53,57,59,79,88,
//RDD也可以采用,df也可以采样!采样的结果还是个rdd
val sardd: RDD[Long] = rdd.sample(withReplacement = false, 0.1, 0)
println(sardd.collect().mkString(","))
println(rdd.sample(withReplacement = true, 0.3, 123).collect().mkString(","))

规定个数而非规定比例进行取样

val spark: SparkSession = SparkSession.builder().master("local[1]").appName("SparkByExample").getOrCreate();
val rdd: RDD[Long] = spark.sparkContext.range(0, 100)
//takeSample也可以取样,不过返回值不是rdd,是array,另外,第二个参数直接规定取样的个数
//67,96,29,46,34,51,0,40,52,76
val sardd: Array[Long] = rdd.takeSample(withReplacement = false, 10, 123)
println(sardd.mkString(","))

总结

rdd和dataframe都可以进行取样
取样可以设置比例,是否放回等等
取样可以用于数据倾斜的预估

参考

Spark SQL Sampling with Examples — SparkByExamples

Spark sample入门到精通相关推荐

spark从入门到精通spark内存管理详解- 堆内堆外内存管理
前言 Spark作为一个基于内存的分布式计算引擎,其内存管理模块在整个系统中扮演着非常重要的角色.理解Spark内存管理的基本原理,有助于更好地开发Spark应用程序和进行性能调优.本文将详细介绍两部 ...
「Spark从入门到精通系列」4.Spark SQL和DataFrames：内置数据源简介
来源 | Learning Spark Lightning-Fast Data Analytics,Second Edition 作者 | Damji,et al. 翻译 | 吴邪大数据4年从业经 ...
【大数据】Spark从入门到精通
一.参考资料 1. 视频教学 004.尚硅谷_Spark框架 - 快速上手 - 开发环境准备
StarRocks从入门到精通系列六：使用EXPORT、Spark、Flink从StarRocks中导出数据
StarRocks从入门到精通系列六:使用EXPORT.Spark.Flink从StarRocks中导出数据一.使用EXPORT导出数据 1.背景信息 2.导出流程 3.基本原理 4.相关配置 5. ...
[学习笔记]黑马程序员Spark全套视频教程，4天spark3.2快速入门到精通，基于Python语言的spark教程
文章目录视频资料: 思维导图一.Spark基础入门(环境搭建.入门概念) 第二章:Spark环境搭建-Local 2.1 课程服务器环境 2.2 Local模式基本原理 2.3 安装包下载 2.4 ...
赵强老师：大数据从入门到精通（20）Spark RDD-赵强老师-专题视频课程
赵强老师:大数据从入门到精通(20)Spark RDD-116人已学习课程收益本系列课程将基于RedHat Linux 7.4版本.Hadoop 2.7.3.Spark 2 版本全面介绍大 ...
GPU 编程入门到精通（一）之 CUDA 环境安装
GPU 编程入门到精通(一)之 CUDA 环境安装标签: cudagpunvidia GPU 编程入门到精通(一)之 CUDA 环境安装标签: cudagpunvidia 2014-04-11 2 ...
2018大数据学习路线从入门到精通
最近很多人问小编现在学习大数据这么多,他们都是如何学习的呢.很多初学者在萌生向大数据方向发展的想法之后,不免产生一些疑问,应该怎样入门?应该学习哪些技术?学习路线又是什么?今天小编特意为大家整理了一份 ...
python网络爬虫开发从入门到精通_Python突击-从入门到精通到项目实战
原标题:Python突击-从入门到精通到项目实战 python语言近年来越来越被程序相关人员喜欢和使用,因为其不仅简单容易学习和掌握,而且还有丰富的第三方程序库和相应完善的管理工具:从命令行脚本程序到 ...

Spark sample入门到精通

dataframe 取样

RDD采样

总结

参考

Spark sample入门到精通相关推荐

最新文章

热门文章