flink之keyby groupby区别

之前学习spark 的时候对rdd和ds经常用的groupby操作，在flink中居然变少了

取而代之的是keyby

顾名思义，keyby是根据key的hashcode对分区数取模

For instance, if we know that the load of the parallel partitions of a DataStream is skewed, we might want to rebalance the data to evenly distribute the computation load of subsequent operators. Alternatively, the application logic might require that all tasks of an operation receive the same data or that events be distributed following a custom strategy. In this section, we present DataStream methods that enable users to control partitioning strategies or define their own.

摘自flink的一本书，意思就是如果我们知道DataStream 的并行分区中的数据倾斜，我们可能想重新平衡这些数据，

这就要求我们通过一种自定义的方式去改变所有task会收到相同的数据，所以我们提供了DataStream的很多操作方法去按照他们的想法去控制分区策略

keyby 与下面三个不同，他产生的是KeyedStream，而不是dataStream，他的分区策略是hashcode

shuffle 分区策略是random

rebalance 分区策略的Round-Robin

resclae 和rebalance差不多，但是做了更细粒度的划分

rebalance() will create communication channels between all sending tasks to all receiving tasks,

rescale() will only createchannels from each task to some of the tasks of the downstream operator

这个是rescala的图，在分区之前还做了类似分组或者keyby的操作

flink之keyby groupby区别相关推荐

Apache Flink 零基础入门（七）Flink中keyBy三种方式指定key
keyBy 如何指定key 不管是stream还是batch处理,都有一个keyBy(stream)和groupBy(batch)操作.那么该如何指定key? Some transformations ...
聊聊flink Table的groupBy操作
序本文主要研究一下flink Table的groupBy操作 Table.groupBy flink-table_2.11-1.7.0-sources.jar!/org/apache/flink/t ...
【Flink】Flink 没有keyBy 某个 subTask 没有数据
文章目录 1.概述 M.扩展 1.概述一个flink程序,如下,但是总共100多个task,然后只有一个没有数据. 第一怀疑是不是keyBy问题,上述看错了,然后以为有keyBy 然后参考文章:[F ...
flink与spark的区别----阅读笔记1
Flink简介 spark基本架构 flink基本架构 Spark提出的最主要抽象概念是弹性分布式数据集(RDD) flink支持增量迭代计算.基于流执行引擎,Flink提供了诸多更高抽象层的API以 ...
Storm，Spark和Flink简介联系与区别
storm.spark streaming.flink是三个最著名的分布式流处理框架,并且都是开源的分布式系统,具有低延迟.可扩展和容错性诸多优点,允许你在运行数据流代码时,将任务分配到一系列具有容错 ...
spark和flink是什么、区别、共同点以及替换性
目录声明 1. spark spark 计算速度快 Spark与MR 2. flink flink是什么 flink特点 flink能做什么四.flink , mapreduce , Spark ...
flink keyby、shuffle、 rebalance、rescale、 broadcast、global、自定义分区算子以及各分区器源码
文章目录前言 1. 随机分区 2. 轮询分区 3. 重缩放分区 4. 广播 5. 全局分区 6. 自定义分区前言 flink中keyBy是一种按照键的哈希值来进行重新分区的操作,至于分区是否均 ...
学习笔记Flink（四）—— Flink基础API及核心数据结构
一.Flink基础API-Flink编程的基本概念 1.1.Flink程序 Flink 程序是实现了分布式集合转换(例如过滤.映射.更新状态.join.分组.定义窗口.聚合)的规范化程序. 集合初始创 ...
大数据框架复习-flink
大数据框架复习-flink flink的简单介绍 Flink 是一个面向流处理和批处理的分布式数据计算引擎,能够基于同一个 Flink 运行,可以提供流处理和批处理两种类型的功能. 在 Flink 的 ...

flink之keyby groupby区别

flink之keyby groupby区别相关推荐

最新文章

热门文章