1.概述

转载：https://blog.csdn.net/u013939918/article/details/107623778

流计算的一个典型场景是把聚合的数据写入到 Upsert Sink 中，比如 JDBC、HBase，当遇到复杂的 SQL 时，时常会出现：

UpsertStreamTableSink 需要上游的 Query 有完整的 Primary Key 信息，不然就直接抛异常。这个现象涉及到 Flink 的 UpsertStreamTableSink 机制。顾名思义，它是一个更新的 Sink，需要按 Key 来更新，所以必须要有 Key 信息。

如何发现 Primary Key？一个方法是让优化器从 Query 中推断，如下图发现 Primary Key 的例子。

这种情况下在简单 Query 当中很好，也满足语义，也非常自然。但是如果是一个复杂的 Query，比如聚合又 Join 再聚合，那就只有报错了。不能期待优化器有多智能，很多情况它都不能推断出 PK，而且，可能业务的 SQL 本身就不能推断出 PK，所以导致了这样的异常。

怎么解决问题？Flink 1.11 彻底的抛弃了这个机制，不再从 Query 来推断 PK 了，而是完全依赖 Create table 语法。比如 Create 一个 jdbc_table，需要在定义中显式地写好 Primary Key（后面 NOT ENFORCED 的意思是不强校验，因为 Connector 也许没有具备 PK 的强校验的能力）。当指定了 PK，就相当于就告诉框架这个Jdbc Sink 会按照对应的 Key 来进行更新。如此，就跟 Query 完全没有关系了，这样的设计可以定义得非常清晰，如何更新完全按照设置的定义来。

CREATE TABLE jdbc_table (id BIGINT,...PRIMARY KEY (id) NOT ENFORCED
)

【Flink】Flink UpsertStreamTableSink requires that has a full primary keys if update相关推荐

【3】flink sink
[README] 本文记录了flink sink操作,输出目的存储器(中间件)包括 kafka: es: db: 等等有很多: 本文只给出了 sink2kafka的代码: 本文使用的flink为 1. ...
【2】flink数据流转换算子
[README] 本文记录了flink对数据的转换操作,包括基本转换,map,flatMap,filter: 滚动聚合(min minBy max maxBy sum): 规约聚合-reduce: ...
【Flink】Flink 不支持部分 task 结束后进行 checkpoint
纪念一波,九师兄博客热门订阅专栏时常名列前茅,我飘了,哈哈哈哈,得意的笑 1.概述以前遇到一个问题,这个问题是这样的,一个FLink job,然后部分是离线任务,数据读取完毕了,就结束了.然后发现就 ...
【Flink】Flink 源码阅读笔记（20）- Flink 基于 Mailbox 的线程模型
1.概述转载:Flink 源码阅读笔记(20)- Flink 基于 Mailbox 的线程模型相似文章:[Flink]Flink 基于 MailBox 实现的 StreamTask 线程模型 Fl ...
【Flink】Flink 源码之Buffer Debloating
1.概述转载:[Flink]Flink 源码之Buffer Debloating 2.什么是Buffer debloating Buffer Debloating是Flink 1.14新增的优化方式 ...
【Flink】FLink PipelineExecutorFactory 基于工厂模式的任务提交与SPI机制
1.概述转载: Flink1.10基于工厂模式的任务提交与SPI机制 Flink任务执行模式包含了yarn-session.standalone.per-job.local, 在1.10中又增加k8 ...
【Flink】Flink 没有keyBy 某个 subTask 没有数据
文章目录 1.概述 M.扩展 1.概述一个flink程序,如下,但是总共100多个task,然后只有一个没有数据. 第一怀疑是不是keyBy问题,上述看错了,然后以为有keyBy 然后参考文章:[F ...
【Flink】Flink SQL 报错 ClassCastException: VarCharType cannot be cast to RowType
文章目录 1.概述 1.1 实体类 1.概述背景参考:[Flink]FLink SQL 如何使用嵌套格式的Schema 我想要实现通过flink table api来实现: select * fro ...
【flink】flink 报错 key group from 44 to 45 does not contain 4
文章目录 1.概述本文为博主九师兄(QQ:541711153 欢迎来探讨技术)原创文章,未经允许博主不允许转载. 1.概述此问题和一个问题很相似:[Flink]Flink KeyGroupRang ...

【Flink】Flink UpsertStreamTableSink requires that has a full primary keys if update

1.概述

【Flink】Flink UpsertStreamTableSink requires that has a full primary keys if update相关推荐

最新文章

热门文章