Flink从入门到精通100篇（二十一）-Apache Flink 与 Apache Hive 的集成

前言

随着 Flink 在流式计算的应用场景逐渐成熟和流行。如果 Flink 能同时把批量计算的应用场景处理好，就能减少用户在使用 Flink 的开发和维护成本，并且能够丰富 Flink 的生态。因为 SQL 是批计算比较常用的工具，所以 Flink 针对于批计算主要以 SQL 为主要接口。本次分享主要针对 Flink 对批处理的设计与 Hive 的集成。

主要分为下面三点展开：

设计架构
项目进展
性能测试

首先和大家分享一下 Flink 批处理的设计架构。

1. 背景

Flink 提升批处理的主要原因，是为了减少客户的维护成本和更新成本，还有更好的完善 Flink 生态环

Flink从入门到精通100篇（二十一）-Apache Flink 与 Apache Hive 的集成相关推荐

Flink从入门到精通100篇（十一）-Java SPI 机制在 Flink SQL 中的应用
Java SPI 机制简介 Java SPI机制,即Java Service Provider Interface,是Java提供的基于"接口编程 + 策略模式 + 配置文件"组合 ...
Flink从入门到精通100篇（六）-Flink 应用之对Release 文档进行深度解读
集群和部署支持 Hadoop 3.0 及更高的版本:Flink 不再提供任何 flink-shaded-hadoop- 依赖.用户可以通过配置 HADOOP_CLASSPATH 环境变量(推荐)或在 ...
Flink从入门到精通100篇（十三）-Flink的入门教学
前言 Flink 是一种流式计算框架,为什么我会接触到 Flink 呢?因为我目前在负责的是监控平台的告警部分,负责采集到的监控数据会直接往 kafka 里塞,然后告警这边需要从 kafka topi ...
Flink从入门到精通100篇（五）-flink变种Alink，对阿里巴巴算法平台Alink简介
前言近日,阿里云计算部门已在 GitHub 上发布了其 Alink 平台的"核心代码",并上传了一系列算法库,它们支持批处理和流处理,这对支持机器学习任务至关重要. Alink ...
Flink从入门到精通100篇（二十一）-万字长文详解 Flink 中的 CopyOnWriteStateTable
前言现如今想阅读 HashMap 源码实际上比较简单,因为网上一大堆博客去分析 HashMap 和 ConcurrentHashMap.本文详细分析 CopyOnWriteStateTable 源码 ...
Flink从入门到精通100篇（二十四）-对Flink SQL Client 源码做深度解析
前言本文基于 Flink 1.12-SNAPSHOT,使用sql client命令行提交insert语句进行整个流程的分析. sql-client.sh embedded --update &quo ...
Flink从入门到精通100篇（二十二）- Flink应用实战案例：如何实现网络流控与反压机制
目录 Flink 流处理为什么需要网络流控? Flink V1.5 版之前网络流控介绍 Flink V1.5 版之前的反压策略存在的问题 Credit的反压策略实现原理,Credit是如何解决 Fli ...
Flink从入门到精通100篇（二十三）-Apache Flink在滴滴的应用与实践
前言 Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算.可部署在各种集群环境,对各种大小的数据规模进行快速计算. 滴滴基于 Apache Flink 做了 ...
Flink从入门到精通100篇（二十二）-Apache Flink OLAP引擎性能优化及应用
前言本次分享的主题为Apache Flink新场景--OLAP引擎,主要内容包括: 背景介绍 Apache Flink OLAP引擎案例介绍未来计划 1. OLAP及其分类 OLAP是一种让用户 ...
Flink从入门到精通100篇（二十一）-Flink 状态(State)管理在推荐场景中的应用
前言 Flink作为纯流式大数据实时计算引擎,较于Spark Streaming的微批处理引擎,不管是内存管理,多流合并,还是时间窗口,迭代处理上,Flink在实时计算场景更较适合.而Flink的St ...

Flink从入门到精通100篇（二十一）-Apache Flink 与 Apache Hive 的集成

前言

1. 背景

Flink从入门到精通100篇（二十一）-Apache Flink 与 Apache Hive 的集成相关推荐

最新文章

热门文章