【Flink】The parallelism of non parallel operator must be 1

flink学习过程中遇到The parallelism of non parallel operator must be 1问题

Exception in thread "main" java.lang.IllegalArgumentException: The parallelism of non parallel operator must be 1.
   at org.apache.flink.util.Preconditions.checkArgument(Preconditions.java:138)
   at org.apache.flink.api.common.operators.util.OperatorValidationUtils.validateParallelism(OperatorValidationUtils.java:35)
   at org.apache.flink.streaming.api.datastream.DataStreamSource.setParallelism(DataStreamSource.java:114)
   at com.cdc.Test.main(Test.java:13)

代码如下，设置了自定义数据源并且不小心设置了并行度为2：

import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;public class Test {public static void main(String[] args) throws Exception {//获取Flink的运行环境StreamExecutionEnvironment executionEnvironment = St

【Flink】The parallelism of non parallel operator must be 1相关推荐

【Flink】Flink状态的缩放（rescale）与键组（Key Group）设计
1.概述转载:Flink状态的缩放(rescale)与键组(Key Group)设计这个东东还没了解过.来看一下. 在之前那篇讲解Flink Timer的文章里,我曾经用三言两语简单解释了Key ...
【Flink】flink并行度与kafka分区(partition)设置
1.概述默认: [Flink]FlinkConsumer是如何保证一个partition对应一个thread的当分区与并行度不一样呢? 2.原理采用取模运算:平衡 kafka partition ...
【Flink】详解Flink的八种分区
简介 Flink是一个流处理框架,一个Flink-Job由多个Task/算子构成,逻辑层面构成一个链条,同时Flink支持并行操作,每一个并行度可以理解为一个数据管道称之为SubTask.我们画图来看 ...
【Flink】Flink 不支持部分 task 结束后进行 checkpoint
纪念一波,九师兄博客热门订阅专栏时常名列前茅,我飘了,哈哈哈哈,得意的笑 1.概述以前遇到一个问题,这个问题是这样的,一个FLink job,然后部分是离线任务,数据读取完毕了,就结束了.然后发现就 ...
【Flink】Flink 源码阅读笔记（20）- Flink 基于 Mailbox 的线程模型
1.概述转载:Flink 源码阅读笔记(20)- Flink 基于 Mailbox 的线程模型相似文章:[Flink]Flink 基于 MailBox 实现的 StreamTask 线程模型 Fl ...
【Flink】Flink 源码之Buffer Debloating
1.概述转载:[Flink]Flink 源码之Buffer Debloating 2.什么是Buffer debloating Buffer Debloating是Flink 1.14新增的优化方式 ...
【Flink】Metrics运作机制
1.概述转载并且补充:Flink源码剖析:Metrics运作机制 1. Metrics简介 1.1 什么是 Metrics? Flink 提供的 Metrics 可以在 Flink 内部收集一些指标 ...
【Flink】FLink PipelineExecutorFactory 基于工厂模式的任务提交与SPI机制
1.概述转载: Flink1.10基于工厂模式的任务提交与SPI机制 Flink任务执行模式包含了yarn-session.standalone.per-job.local, 在1.10中又增加k8 ...
【Flink】Zookeeper connection loss leads to Flink job restart
1.概述转载:添Zookeeper connection loss leads to Flink job restart 看这个之前可以先看看:[Flink]Flink 报错 ResourceMan ...

【Flink】The parallelism of non parallel operator must be 1

【Flink】The parallelism of non parallel operator must be 1相关推荐

最新文章

热门文章