Flink教程（01）- Flink知识图谱
文章目录
- 01 引言
- 02 Flink 知识结构
- 2.1 Flink介绍
- 2.2 环境准备
- 2.3 Flink编程模型
- 2.4 DataStream API
- 2.5 Flink状态管理和容错
- 2.6 DataSet API
- 2.7 Table API & SQL
- 2.8 Flink组件栈
- 2.9 Flink部署与应用
- 2.10 Flink监控与性能优化
- 03 Flink 知识图谱
- 04 文末
01 引言
最近因为工作需要用到了Flink，所以博主开了《Flink教程》专栏来记录Flink的笔记。
在学习Flink之前，我们必须要了解Flink究竟要学习什么？本文列了一个目录，主要用于为后续的教程作一个指南针向导，有个学习的方向。
02 Flink 知识结构
如果用文本来描述Flink图谱，如下：
2.1 Flink介绍
|- Flink介绍
|------Apache Flink是什么
|------数据架构的演变
|------------传统数据基础架构
|------------大数据基础架构
|------------有状态流计算架构
|------------为什么会是Flink
|------Flink应用场景
|------Flink基础架构
|------------基本组件栈
|------------基本架构图
2.2 环境准备
|- 环境准备
|------运行环境介绍
|------Flink项目模板
|------------基于Java实现的项目模板
|------------基于Scala实现的项目模板
|------Flink开发环境配置
|------------下载IDEA
|------------安装Scala Plugins
|------------导入Flink应用代码
|------------项目配置
|------------运行Scala REPL
|------------Flink源码编译
2.3 Flink编程模型
|- Flink编程模型
|------数据集类型
|------Flink编程接口
|------Flink程序结构
|------Flink数据类型
|------------数据类型支持
|------------TypeInfomation信息获取
2.4 DataStream API
|- DataStream API
|------DataStream编程模型
|------------DataSources数据输入
|------------DataStream转换操作
|------------DataSlinks数据输出
|------时间概念与Watermark
|------------时间概念
|------------EventTime和Watermark
|------Windows窗口计算
|------------Windows Assigner
|------------Windows Function
|------------Trigger窗口触发器
|------------Evictors数据剔除器
|------------延迟数据处理
|------------连续窗口计算
|------------Windows多流合并
|------作业链和资源组
|------------作业链
|------------Slots资源组
|------------Asynchronous I/O异步操作
2.5 Flink状态管理和容错
|- Flink状态管理和容错
|------有状态计算
|------Checkpoints和Savepoints
|------------Checkpoints检查点机制
|------------Savepoints机制
|------状态管理器
|------------StateBackend类别
|------------状态管理器适配
|------Querable State
2.6 DataSet API
|- DataSet API
|------DataSet API
|------------应用实例
|------------DataSources数据接入
|------------DataSet转换操作
|------------DataSlinks数据输出
|------迭代计算
|------------全量迭代
|------------增量迭代
|------广播变量
|------分布式缓存
|------语义注解
|------------Forwarded Fields注解
|------------Non-Forwarded Fields注解
|------------Read Fields注解
2.7 Table API & SQL
|- Table API & SQL
|------TableEnviroment
|------------开发环境构建
|------------TableEnvironment基本操作
|------------外部连接器
|------------时间概念
|------------Temporal Tables临时表
|------Flink Table API
|------------Table API 应用实例
|------------数据查询和过滤
|------------窗口操作
|------------聚合操作
|------------多表关联
|------------集合操作
|------------排序操作
|------------数据写入
|------Flink SQL使用
|------------Flink SQL实例
|------------执行SQL
|------------数据过滤与查询
|------------Group Windows操作
|------------数据聚合
|------------多表关联
|------------集合操作
|------------数据输出
|------自定义函数
|------------Scalar Function
|------------Table Function
|------------Agreegation Function
|------自定义数据源
|------------TableSource定义
|------------TableSlink定义
|------------TableFactory定义
2.8 Flink组件栈
|- Flink组件栈
|------Flink复杂事件处理
|------------基础概念
|------------Pattern API
|------------事件获取
|------------应用实例
|------Flink Gelly图计算应用
|------------基本概念
|------------Graph API
|------------迭代图处理
|------------图生成器
|------FlinkML机器学习
|------------基本概念
|------------有监督学习算子
|------------数据预处理
|------------推荐算法
|------------Pipelines In FlinkML
2.9 Flink部署与应用
|- Flink部署与应用
|------Flink集群部署
|------------Standalone Cluster 部署
|------------Yarn Cluster部署
|------------Kubernetes Cluster部署
|------Flink高可用配置
|------------Standalone集群高可用配置
|------------Yarn Session集群高可用配置
|------Flink安全管理
|------------认证目标
|------------认证配置
|------------SSL配置
|------Flink集群升级
|------------任务重启
|------------状态维护
|------------版本升级
2.10 Flink监控与性能优化
|- Flink监控与性能优化
|------监控指标
|------------系统监控指标
|------------监控指标注册
|------------监控指标报表
|------Backpressure监控与优化
|------------Backpressure进程抽样
|------------Backpressure页面监控
|------------Backpressure配置
|------Checkpointing监控与优化
|------------Checkpointing页面监控
|------------Checkpointing优化
|------Flink内存优化
|------------Flink内存配置
|------------Network Buffers配置
03 Flink 知识图谱
04 文末
参阅文献：《Flink原理、实战与性能优化》
本文主要列出需要Flink的知识点，谢谢大家的阅读，本文完！
Flink教程（01）- Flink知识图谱相关推荐
- 小白学习Flink系列--第一篇(知识图谱)
小白学习Flink系列–第一篇(知识图谱) 如何学习Flink? 对于一门计算机技术来说,如何快速学习上手呢?具体的逻辑是什么呢?我认为有以下几条 了解技术的应用场景 技术的基本概念,如何使用,以 ...
- 知识图谱 01：知识图谱概述
前言 本内容主要介绍 知识图谱(Knowledge Graph) 的发展.定义.构建和应用. 1.1 知识图谱的发展 知识图谱(Knowledge Graph)的起源可以追溯到 1960 年, ...
- 从零学习知识图谱——01（知识图谱技术介绍）
今年研一,导师给的大范围是知识图谱.从零开始学习知识图谱相关知识,内容大多为笔记和心得,仅供参考.欢迎各位大牛来指导. 知识图谱 (Knowledge Graph,KG) 以结构化的形式描述客观世界中 ...
- flink教程-聊聊 flink 1.11 中新的水印策略
文章目录 背景 新的水印生成接口 内置水印生成策略 固定延迟生成水印 单调递增生成水印 event时间的获取 处理空闲数据源 背景 在flink 1.11之前的版本中,提供了两种生成水印(Waterm ...
- [转发]知识图谱 （Knowledge Graph） 专知 荟萃
知识图谱 (Knowledge Graph) 专知 荟萃 入门学习 大规模知识图谱技术 王昊奋 华东理工大学 [http://history.ccf.org.cn/sites/ccf/xhdtnry. ...
- 领域应用 | 知识图谱在小米的应用与探索
本文转载自公众号:DataFunTalk. 分享嘉宾:彭力 小米 编辑整理:马瑶 出品平台:DataFunTalk 导读:小米知识图谱于2017年创立,已支持公司了每天亿级的访问,已赋能小爱同学,小米 ...
- 刘志明 | 知识图谱及金融相关
本文转载自公众号:挖地兔,本文的作者刘志明先生也是 Tushare 的作者. Tushare 是一个基于 Python 语言的免费.开源的财经数据接口包,可以为金融量化分析人员提供快速.整洁和多样的结 ...
- 吐血整理！12种通用知识图谱项目简介
作者:王楠 赵宏宇 蔡月 来源:大数据DT(ID:hzdashuju) 通用知识图谱大体可以分为百科知识图谱(Encyclopedia Knowledge Graph)和常识知识图谱(Common S ...
- 百度知识图谱技术及应用
分享嘉宾:王泉博士 百度 资深研发工程师 编辑整理:付一韬 出品平台:DataFunTalk 导读:知识图谱是让机器像人类一样理解客观世界的基石.本次报告首先简要介绍知识图谱在百度的位置及整体的发展概 ...
- 他山之石 | 知识图谱在美团推荐场景中的应用实践
美团是一个生活服务领域的平台,需要大量知识来理解用户的搜索意图,同时对于商家侧我们也需要利用现有的知识对海量信息进行挖掘与提取,进而优化用户体验.今天分享的主题是知识图谱在美团推荐场景中的应用.主要包 ...
最新文章
- VS Code上也能玩转Jupyter Notebook，这是一份完整教程
- bochs调试方法与指令详解
- unity 纹理压缩格式‘_[2018.1]Unity贴图压缩格式设置
- 人工智能，机器学习,深度学习入门好文，强烈推荐
- C语言之详解#ifdef等宏
- InnoSetup 安装前卸载旧版程序
- C和指针之字符串strspn、strcspn函数源代码的实现
- GAN生成对抗网络基本概念及基于mnist数据集的代码实现
- binarysearch java,java数据结构之二分查找法 binarySearch的实例
- 捧上天的AI落地困难，“ 不懂变通”的华为云如何应付？
- Itsdangerous应用
- 油猴脚本(Tampermonkey)的简介
- 慎用某60软件清理垃圾，导致三星SSD T5不识别了，折腾了一下午，终于弄好了
- 居于U2000手机管理光猫，小区运营商FTTH光猫注册神器，MA5680T手机管理，自动添加光猫...
- vue 响应式布局组件_今天如何使用响应式Web组件
- 01互联网三高架构的演进之道
- 单片机入门数字电路之边沿触发器
- 五笔86版字根图程序
- 微信朋友验证消息是什么来源_微信开启朋友验证什么意思
- Flink案例代码，面试题