RDD partitioner入门详解

是什么?

partitioner是RDD的一个属性,默认值为None.可以被子类重写

  @transient val partitioner: Option[Partitioner] = None

有何作用?

决定RDD如何分区,就是具体的分区方式,测试一下
默认的partitioner是None

object RDDTest  extends App{val conf = new SparkConf().setAppName("wordcount").setMaster("local")val sc = new SparkContext(conf)val lines: RDD[String] = sc.textFile("D:\\tmp", 2)println(lines.partitioner)//None
}

默认的partitioner是None

object RDDTest  extends App{val conf = new SparkConf().setAppName("wordcount").setMaster("local")val sc = new SparkContext(conf)private val rdd: RDD[Int] = sc.parallelize(Array(1, 2, 3))println(rdd.partitioner)//None
}

如果是kv形式的RDD,可以重新分区,如下

object RDDTest  extends App{val conf = new SparkConf().setAppName("wordcount").setMaster("local")val sc = new SparkContext(conf)private val rdd: RDD[Int] = sc.parallelize(Array(1, 2, 3))private val value: RDD[(Int, Int)] = rdd.map((x: Int) => (x, 1)).partitionBy(new HashPartitioner(3))println(value.partitioner)//Some(org.apache.spark.HashPartitioner@3)
}

RDD partitioner入门详解相关推荐

linux 日志按大小切割_nginx入门详解（六）- 日志切割
上一章讲解了nginx的目录加密功能,本章重点介绍nginx的日志切割. 笨办法学linux:nginx入门详解(五)- 目录加密zhuanlan.zhihu.com 在第二章,我们探讨了nginx ...
python怎么安装myqr模块-python二维码操作:对QRCode和MyQR入门详解
python是所有编程语言中模块最丰富的生活中常见的二维码功能在使用python第三方库来生成十分容易三个大矩形是定位图案,用于标记二维码的大小.这三个定位图案有白边,通过这三个矩形就可以标识一个 ...
python语言编程基础-Python语言入门详解！快速学成Python！
原标题:Python语言入门详解!快速学成Python! 很多技能是被职场所需要的,但很可惜... 这些技能在大学中并学习不到. 大学和职场现实存在的横沟对大部分同学来说难以跨越或碰得头破血流... ...
python语言入门m-Python语言入门详解！快速学成Python！
今日主题 "Python语言入门详解" 近两年来,Python语言借着数据科学和人工智能的"东风"成为了最流行的编程语言--街头巷尾人们口口相传.同时,Pyth ...
python语言入门详解-python初级教程：入门详解
python初级教程:入门详解 Crifan Li 目录前言 .................................................................... ...
【GCN】图卷积网络（GCN）入门详解
机器学习算法与自然语言处理出品 @公众号原创专栏作者 Don.hub 单位 | 京东算法工程师学校 | 帝国理工大学图卷积网络(GCN)入门详解什么是GCN GCN 概述模型定义数学推导 G ...
python符号格式化设置区间_Python 数值区间处理_对interval 库的快速入门详解
使用 Python 进行数据处理的时候,常常会遇到判断一个数是否在一个区间内的操作.我们可以使用 if else 进行判断,但是,既然使用了 Python,那我们当然是想找一下有没有现成的轮子可以用. ...
【JSON】JSON入门详解(二)
文章目录 JSON基础文章荐读 JavaScript创建JSON对象 JSON与XML的那些事 JSON与XML的相同之处 JSON与XML的不同之处 AJAX相关JSON与XML JSON与XML的 ...
python怎么安装myqr_python二维码操作:对QRCode和MyQR入门详解
python是所有编程语言中模块最丰富的生活中常见的二维码功能在使用python第三方库来生成十分容易三个大矩形是定位图案,用于标记二维码的大小.这三个定位图案有白边,通过这三个矩形就可以标识一个 ...

RDD partitioner入门详解

是什么?

有何作用?

RDD partitioner入门详解相关推荐

最新文章

热门文章