1.groupByKey、mapGroups、flatMapGroups结合使用

package com.DataSet;import bean.Dept;
import bean.Employee;
import org.apache.spark.sql.*;import java.util.ArrayList;
import java.util.List;/*** @author tli2* @createDate 2022/3/17 11:19*/
public class DataSetConvert {private static SparkSession spark = SparkSession.builder().master("local[*]").appName("handle data").getOrCreate();public static void main(String[] args) {spark.conf().set("spark.sql.crossJoin.enabled", "true");spark.sparkContext().setLogLevel("WARN");Encoder<Employee> employeeEncoder = Encoders.bean(Employee.class);String path = "spark-hello/src/main/resources/employees.json";Dataset<Employee> ds = spark.read().json(path).as(employeeEncoder);Dataset<Employee> out = flatMapGroups(groupByKey(ds));out.show();Dataset<Dept> out2 = mapGroups(groupByKey(ds));out2.show();}public static KeyValueGroupedDataset<String, Employee> groupByKey(Dataset<Employee> ds) {return ds.groupByKey(e -> e.getName(), Encoders.STRING());}public static Dataset<Dept> mapGroups(KeyValueGroupedDataset<String, Employee> kvgDS) {Dataset<Dept> out = kvgDS.mapGroups((key, eList) -> {Dept dept = new Dept();eList.forEachRemaining(e -> {dept.addEmployee(e);});return dept;}, Encoders.bean(Dept.class));return out;}public static Dataset<Employee> flatMapGroups(KeyValueGroupedDataset<String, Employee> kvgDS) {Dataset<Employee> out = kvgDS.flatMapGroups((key, eList) -> {List<Employee> employees = new ArrayList<>();eList.forEachRemaining(e -> {employees.add(e);});return employees.iterator();}, Encoders.bean(Employee.class));return out;}}

【spark使用】4. Dataset转换算子使用相关推荐

spark之RDD的转换算子与行为算子的具体使用
文章目录 1.Transform算子 1.1 map 1.2 flatmap 1.3 groupBy和groupBykey 1.4 filter 1.5 Mappartitions 1.6 mapVa ...
spark应用程序转换_Spark—RDD编程常用转换算子代码实例
Spark-RDD编程常用转换算子代码实例 Spark rdd 常用 Transformation 实例: 1.def map[U: ClassTag](f: T => U): RDD[U] ...
Spark的RDD转换算子
目录 RDD转换算子 Value 类型 1. map 2. mapPartitions map 和mapPartitions 的区别 3. mapPartitionsWithIndex 4. flat ...
spark常见转换算子（transformation）的操作
package com.meng.nan.day717import org.apache.log4j.{Level, Logger} import org.apache.spark.{SparkCon ...
spark中的转换算子和行动算子区别(transformations and actions)
算子(RDD Operations): 对于初学者来说,算子的概念比较抽象,算子可以直译为 "RDD的操作", 我们把它理解为RDD的方法即可 . 转换算子(transformat ...
Spark 常用算子详解（转换算子、行动算子、控制算子）
Spark简介 Spark是专为大规模数据处理而设计的快速通用的计算引擎: Spark拥有Hadoop MapReduce所具有的优点,但是运行速度却比MapReduce有很大的提升,特别是在数据挖掘 ...
Spark转换算子和执行算子
在Spark编程模式下,所有的操作被分为转换(transformation)和执行(action)两种. 一般来说,转换操作是对一个数据集里的所有记录执行某种函数,从而使记录发生改变;而执行通常是运行 ...
Spark转换算子大全以及案例实操
1.RDD 转换算子 RDD转换算子实际上就是换了名称的RDD方法 RDD 根据数据处理方式的不同将算子整体上分为 Value 类型.双 Value 类型和 Key-Value 类型算子:Opera ...
第三课大数据技术之Spark-RDD介绍和转换算子
第三课大数据技术之Spark-RDD介绍和转换算子文章目录第三课大数据技术之Spark-RDD介绍和转换算子第一节 RDD相关介绍 1.1 什么是 RDD 1.2 核心属性 1.3 执行原理 ...

【spark使用】4. Dataset转换算子使用

1.groupByKey、mapGroups、flatMapGroups结合使用

【spark使用】4. Dataset转换算子使用相关推荐

最新文章

热门文章