flink的DAG可视化使用(visualizer的使用)

根据官方文档[1]

来做一些实验吧,代码采用[2]中代码

步骤如下:

①

mvn clean scala:compile compile package

②

nc -lk 9999

flink run -c wordcount_increstate /home/appleyuchi/桌面/Flink_Code/flink_state/checkpoint/Scala/target/datastream_api-1.0-SNAPSHOT.jar

提交到集群的时候，会在终端返回一个json

{"nodes" : [ {"id" : 1,"type" : "Source: Socket Stream","pact" : "Data Source","contents" : "Source: Socket Stream","parallelism" : 1}, {"id" : 2,"type" : "Flat Map","pact" : "Operator","contents" : "Flat Map","parallelism" : 2,"predecessors" : [ {"id" : 1,"ship_strategy" : "REBALANCE","side" : "second"} ]}, {"id" : 3,"type" : "Map","pact" : "Operator","contents" : "Map","parallelism" : 2,"predecessors" : [ {"id" : 2,"ship_strategy" : "FORWARD","side" : "second"} ]}, {"id" : 4,"type" : "Map","pact" : "Operator","contents" : "Map","parallelism" : 2,"predecessors" : [ {"id" : 3,"ship_strategy" : "FORWARD","side" : "second"} ]}, {"id" : 6,"type" : "aggregation","pact" : "Operator","contents" : "aggregation","parallelism" : 2,"predecessors" : [ {"id" : 4,"ship_strategy" : "HASH","side" : "second"} ]}, {"id" : 7,"type" : "Sink: Print to Std. Out","pact" : "Data Sink","contents" : "Sink: Print to Std. Out","parallelism" : 2,"predecessors" : [ {"id" : 6,"ship_strategy" : "FORWARD","side" : "second"} ]} ]
}

把这个json复制到https://flink.apache.org/visualizer/中，即可得到下图:

Reference:

[1]Execution Plans

[2]Flink增量Checkpoint实验

flink的DAG可视化使用(visualizer的使用)相关推荐

Flink流计算可视化平台
github 地址 https://github.com/zhp8341/flink-streaming-platform-web (建议) 国内 gitee 地址 https://gitee.com ...
Apache Flink在 bilibili 的多元化探索与实践
简介: bilibili 万亿级传输分发架构的落地,以及 AI 领域如何基于 Flink 打造一套完善的预处理实时 Pipeline. 本文由 bilibili 大数据实时平台负责人郑志升分享,本次分 ...
融合趋势下基于 Flink Kylin Hudi 湖仓一体的大数据生态体系
简介:本文由 T3 出行大数据平台负责人杨华和资深大数据平台开发工程师王祥虎介绍 Flink.Kylin 和 Hudi 湖仓一体的大数据生态体系以及在 T3 的相关应用场景. 本文由 T3 出行大数据 ...
Flink应用实战案例50篇（五）-Apache Flink 在 bilibili 的多元化探索与实践
一.B 站实时的前世与今生 1. 生态场景辐射说起实时计算的未来,关键词就在于数据的实效性.首先从整个大数据发展的生态上,来看它的核心场景辐射:在大数据发展的初期,核心是以面向天为粒度的离线 ...
flink 本地_Flink原理Apache Flink漫谈系列 State
实际问题在流计算场景中,数据会源源不断的流入Apache Flink系统,每条数据进入Apache Flink系统都会触发计算.如果我们想进行一个Count聚合计算,那么每次触发计算是将历史上所有流 ...
Flink 流式计算在节省资源方面的简单分析
本文由小米的王加胜同学分享,文章介绍了 Apache Flink 在小米的发展,从 Spark Streaming 迁移到 Flink ,在调度计算与调度数据.Mini batch 与 streami ...
通过可视化来了解你的Spark应用程序
学长推荐阅读文章,先mark到博客里,原文地址http://www.csdn.net/article/2015-07-08/2825162#rd,所有权力归原作者所有. allowtransparen ...
【Flink】Flink 源码阅读笔记（15）- Flink SQL 整体执行框架
1.概述转载:Flink 源码阅读笔记(15)- Flink SQL 整体执行框架在数据处理领域,无论是实时数据处理还是离线数据处理,使用 SQL 简化开发将会是未来的整体发展趋势.尽管 SQL ...
翻译:探索GLSL-用几何着色器(着色器库)实现法线可视化
翻译:探索GLSL-用几何着色器(着色器库)实现法线可视化翻译自: Exploring GLSL – Normal Visualizer with Geometry Shaders (Shader ...

flink的DAG可视化使用(visualizer的使用)

flink的DAG可视化使用(visualizer的使用)相关推荐

最新文章

热门文章