【Flink实战系列】为什么我的Flink任务正常运行,UI上却不显示接收和发送的数据条数呢?

最近发现有好几个同学问我这个问题,为什么我的Flink任务正常运行,数据也可以打印,而且都保存到数据库了,但是UI上面却不显示数据接收和发送的条数,我都快被问疯了,今天就给大家详细说一下这个小问题.

首先先来复现一下这个问题,我们先看下面的代码(只是一部分代码)

def main(args: Array[String]): Unit = {val env = StreamExecutionEnvironment.getExecutionEnvironmentenv.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)env.setParallelism(1)val ds = CommonUtils.getDataStream(env = env).name("kafka-source").filter(_.nonEmpty).print()env.execute()
}

代码非常的简单,没有任何的逻辑,从kafka读取数据,只是做了一个filter,然后直接print,我这里就不写sink,但是效果和直接sink是一样的,把这个任务提交到集群运行,效果如下图所示:

我已经向kafka写入数据了,这个地方怎么不显示呢?然后我们来看下tm的stdout,因为我代码里面直接print了,看下面的图

【Flink实战系列】为什么我的Flink任务正常运行,UI上却不显示接收和发送的数据条数呢?相关推荐

【Flink实战系列】Lorg/apache/flink/kafka/shaded/org/apache/kafka/clients/consumer/ConsumerRecord；)Ljava/
java.lang.AbstractMethodError: Method flink/stream/deserialization/PoJoDeserializationSchema.deseria ...
云星数据---Apache Flink实战系列(精品版)】：Flink流处理API详解与编程实战002-Flink基于流的wordcount示例002
三.基于socket的wordcount 1.发送数据 1.发送数据命令nc -lk 9999 2.发送数据内容good good studyday day up 2.处理数据 2.1执行程序 pac ...
Flink CDC 系列（3）—— Flink CDC MySQL Connector 与 Flink SQL 的结合使用案例Demo
Flink CDC 系列文章: <Flink CDC 系列(1)-- 什么是 Flink CDC> <Flink CDC 系列(2)-- Flink CDC 源码编译> < ...
Flink 实战 | 贝壳找房基于Flink的实时平台建设
声明:本文作者刘力云,贝壳找房实时计算负责人.本文来自 2019 年 9 月 21 日 Flink Meetup 北京站贝壳找房刘立云的分享,所有内容版权归其个人及 Flink 中文社区所有. E ...
【Flink实战系列】Flink 提交任务遇到 Server Response Internal server error 怎么排查
很多同学在提交 Flink 任务的时候遇到下面这种报错不知道怎么排查.完全处于懵逼状态,竟一直盯着这个报错看. 记得一定要去 JM 的 logs 里面看详细的报错信息,只看这个 Internal se ...
【Flink实战系列】Flink 本地 Web UI 的配置及使用
当你在本地开发调试 Flink 任务的时候,如果没有搭建集群环境,但是又想要查看 Flink 的 Web UI 该怎么办呢? 其实 Flink 是提供有在本地查看 Flink UI 功能的. 添加依赖 ...
【Flink实战系列】Flink 1.11.1 on yarn 集群搭建教程
前面一篇博客中已经搭建了flink Standalone的集群,需要的可以进去看一下,今天主要来说一下flink on yarn 集群的搭建以及怎么提交任务,之前搭建Flink on yarn的时候用 ...
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink批处理API详解与编程实战025--DateSet实用API详解025
一.Flink DateSet定制API详解(JAVA版) -002 flatMap 以element为粒度,对element进行1:n的转化. 执行程序: package code.book.bat ...
【Flink实战系列】Flink SQL 之 Session Window 的用法
Flink SQL 之 Session Window 的用法 Session Windows 会话窗口分配器按活动的会话对元素进行分组.与翻滚窗口和滑动窗口相比,会话窗口没有重叠,也没有固定的开始和结 ...

【Flink实战系列】为什么我的Flink任务正常运行,UI上却不显示接收和发送的数据条数呢?

【Flink实战系列】为什么我的Flink任务正常运行,UI上却不显示接收和发送的数据条数呢?相关推荐

最新文章

热门文章