flink source 同步_大数据面试题-Flink

1、Flink 的抽象层次有几种

Stateful stream processing

Core API

Table

SQL

2、Window 类型

(1)TimeWindow

Tumbling Window(滚动窗口)

Sliding Window(滑动窗口)

Session Window(会话窗口)

Global Window(全局窗口)

(2)countWindow

(3)自定义window

3、Time 类型

事件时间、注入时间和Processing Time

4、Checkpoint的理解

轻量级容错机制(全局异步，局部同步)

保证exactly-once 语义

用于内部失败的恢复

基本原理：通过往source 注入barrier，barrier作为checkpoint的标志

5、Savepoint

流处理过程中的状态历史版本

具有可以replay的功能

外部恢复（应用重启和升级）

两种方式触发：Cancel with savepoint，手动主动触发

$s bin/flink savepoint :jobId [:targetDirectory]

$ bin/flink cancel -s [:targetDirectory] :jobId

6、Flink runtime architecture

Job Manager

Task Manger

Client

角色间的通信(Akka)

数据的传输（Netty）

7、什么是solts

solts ：槽，slot 的数量通常与每个 TaskManager 的可用 CPU 内核数成比例。

一般情况下你的 slot 数是你每个 TaskManager 的 cpu 的核数。

8、什么是状态

Definition

task/operator在某个时刻的中间结果

Snapshot

Effect：记录状态并且在失败时用于恢复

Basic type：Operator state、Keyed state

9、RestartStrategies

Restart Strategies

4种重启策略

10、statebacked有几种(3种)

Apache Flink 1.8 Documentation: State Backends

//env.setStateBackend(new MemoryStateBackend());

//env.setStateBackend(new FsStateBackend("hdfs://hadoop100:9000/flink/checkpoints"));

//env.setStateBackend(new RocksDBStateBackend("hdfs://hadoop100:9000/flink/checkpoints",true));

11、运行模式

Job模式

独享Dispatcher和ResourceManager

资源按需申请

适合⼤大作业

Session模式

共享Dispatcher和ResourceManager

共⽤用TaskManager

适合规模⼩小，运⾏行行时间短的作业

12、全量聚合和增量聚合 window

全量聚合：ProcessWindowFunction

增量聚合：ReduceFunction、AggregateFunction、FoldFunction

flink source 同步_大数据面试题-Flink相关推荐

flink source 同步_网易云音乐基于 Flink + Kafka 的实时数仓建设实践
简介:本文由网易云音乐实时计算平台研发工程师岳猛分享,主要从以下四个部分将为大家介绍 Flink + Kafka 在网易云音乐的应用实战: 背景.Flink + Kafka 平台化设计.Kafka 在 ...
大数据知识面试题-Flink（2022版）
序列号内容链接 1 大数据知识面试题-通用(2022版) https://blog.csdn.net/qq_43061290/article/details/124819089 2 大数据知识面试 ...
flink source 同步_为什么说 Flink + AI 值得期待？
去年11月的 Flink Forward Asia 2019 上Flink 社区提出了未来发展的几个主要方向,其中之一就是拥抱AI [1].实际上,近年来AI 持续火热,各种计算框架.模型和算法层出不 ...
flink source 同步_如何生成 Flink 作业的交互式火焰图？
原标题:如何生成 Flink 作业的交互式火焰图? 简介:Flink 是目前最流行的大数据及流式计算框架之一,用户可以使用 Java/Scala/Python 的 DataStream 接口或者标准 ...
数据丢失与重复_大数据面试题分享-恭喜这位朋友刚毕业拿到了20K
找工作的同学有福气啦!真实大数据面试经验分享系列文章逐步上线,欢迎持续关注! 某网一位朋友的面经,恭喜他拿到了高薪的 offer. 1.介绍项目 2.redis用过吗谈谈redis吧键值分别是什 ...
大数据知识面试题-通用（2022版）
序列号内容链接 1 大数据知识面试题-通用(2022版) https://blog.csdn.net/qq_43061290/article/details/124819089 2 大数据知识面试 ...
大数据知识面试题-Hadoop（2022版）
序列号内容链接 1 大数据知识面试题-通用(2022版) https://blog.csdn.net/qq_43061290/article/details/124819089 2 大数据知识面试 ...
大数据知识面试题-Hive （2022版）
序列号内容链接 1 大数据知识面试题-通用(2022版) https://blog.csdn.net/qq_43061290/article/details/124819089 2 大数据知识面试 ...
大数据知识面试题-MapReduce和YARN（2022版）
序列号内容链接 1 大数据知识面试题-通用(2022版) https://blog.csdn.net/qq_43061290/article/details/124819089 2 大数据知识面试 ...

flink source 同步_大数据面试题-Flink

flink source 同步_大数据面试题-Flink相关推荐

最新文章

热门文章