阿里巴巴开源的 Blink 实时计算框架真香
Blink 开源了有一段时间了,竟然没发现有人写相关的博客,其实我已经在我的知识星球里开始写了,今天来看看 Blink 为什么香?
我们先看看 Blink 黑色版本:
对比下 Flink 版本你就知道黑色版本多好看了。
你上传 jar 包的时候是这样的:
我们来看看 Blink 运行的 job 长啥样?
再来对比一下 Flink 的样子:
查看 Job Task 的详情,可以看到开始时间、接收记录、并行度、duration、Queue in/out、TPS
查看 subTask,这里可以直接点击这个日志就可以查看 task 日志:
查看背压:
查看 task metric,可以手动添加,支持的有很多,这点很重要,可以根据每个算子的监控以及时对每个算子进行调优:
查看 job 运行时间段的情况:
查看 running 的 job:
查看已经完成的 job:
查看 Task Manager:
Task Manager 分配的资源详情:
Task Manager metric 监控信息详情:
Task Manager log 文件详情,包含运行产生的日志和 GC 日志:
Task Manager 日志详情,支持高亮和分页,特别友好,妈妈再也不担心我看不见 "刷刷刷" 的日志了。
总结
介绍了 Flink 的 Blink 分支编译后运行的界面情况,总体来说很棒,期待后面 Blink 合并到 Flink!
本文原创地址是: www.54tianzhisheng.cn/2019/02/28/… , 未经允许禁止转载。
关注我
微信公众号:zhisheng
另外我自己整理了些 Flink 的学习资料,目前已经全部放到微信公众号了。你可以加我的微信:zhisheng_tian,然后回复关键字:Flink 即可无条件获取到。
Github 代码仓库
github.com/zhisheng17/…
以后这个项目的所有代码都将放在这个仓库里,包含了自己学习 flink 的一些 demo 和博客。
相关文章
1、《从0到1学习Flink》—— Apache Flink 介绍
2、《从0到1学习Flink》—— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门
3、《从0到1学习Flink》—— Flink 配置文件详解
4、《从0到1学习Flink》—— Data Source 介绍
5、《从0到1学习Flink》—— 如何自定义 Data Source ?
6、《从0到1学习Flink》—— Data Sink 介绍
7、《从0到1学习Flink》—— 如何自定义 Data Sink ?
8、《从0到1学习Flink》—— Flink Data transformation(转换)
9、《从0到1学习Flink》—— 介绍Flink中的Stream Windows
10、《从0到1学习Flink》—— Flink 中的几种 Time 详解
11、《从0到1学习Flink》—— Flink 写入数据到 ElasticSearch
12、《从0到1学习Flink》—— Flink 项目如何运行?
13、《从0到1学习Flink》—— Flink 写入数据到 Kafka
14、《从0到1学习Flink》—— Flink JobManager 高可用性配置
15、《从0到1学习Flink》—— Flink parallelism 和 Slot 介绍
16、《从0到1学习Flink》—— Flink 读取 Kafka 数据批量写入到 MySQL
17、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 RabbitMQ
18、《从0到1学习Flink》—— 你上传的 jar 包藏到哪里去了?
转载于:https://juejin.im/post/5c8fbe085188252d5379d71b
阿里巴巴开源的 Blink 实时计算框架真香相关推荐
- 【大数据实时计算框架】Storm框架
一.大数据实时计算框架 1.什么是实时计算?流式计算? (一)什么是Storm? Storm为分布式实时计算提供了一组通用原语,可被用于"流处理"之中,实时处理消息并更新数据库.这 ...
- Spark Streaming实时计算框架介绍
随着大数据的发展,人们对大数据的处理要求也越来越高,原有的批处理框架MapReduce适合离线计算,却无法满足实时性要求较高的业务,如实时推荐.用户行为分析等. Spark Streaming是建立在 ...
- Flink or Spark?实时计算框架在K12场景的应用实践
如今,越来越多的业务场景要求 OLTP 系统能及时得到业务数据计算.分析后的结果,这就需要实时的流式计算如Flink等来保障.例如,在 TB 级别数据量的数据库中,通过 SQL 语句或相关 API直接 ...
- 阿里巴巴开源的通用缓存访问框架JetCache介绍
摘要: JetCache是由阿里巴巴开源的通用缓存访问框架,如果你对Spring Cache很熟悉的话,请一定花一点时间了解一下JetCache,它更好用.JetCache可以做类似Spring Ca ...
- 实时计算框架:Flink集群搭建与运行机制
一.Flink概述 1.基础简介 Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算.Flink被设计在所有常见的集群环境中运行,以内存执行速度和任意规模来执行计算.主要特性包 ...
- 大数据“重磅炸弹”:实时计算框架 Flink
你是不是经常体验或看到以下这些场景? 小田,你看能不能做个监控大屏实时查看促销活动销售额(GMV)? 小朱,搞促销活动的时候能不能实时统计下网站的 PV/UV 啊? 小鹏,我们现在搞促销活动能不能实时 ...
- 实时计算框架 Spark: Lightning-fast cluster computing
2019独角兽企业重金招聘Python工程师标准>>> real-time processing framework 实时计算框架 Real-time processing deno ...
- BATJ大数据架构师带你领略实时计算框架Flink的魅力!
你是不是经常体验或看到以下这些场景? "小张,你看能不能做个监控大屏实时查看促销活动销售额(GMV)?" "小王,我们现在搞促销活动能不能实时统计销量 Top3 啊?&q ...
- 大数据实时计算框架简介
一.实时计算,流式计算? 实时计算 == 流式计算 自来水厂就是一个典型的实时计算系统: 自来水厂可以简单的理解为由一个水泵(采集水源),多个蓄水池(处理水源:沉淀,过滤,消毒等步骤),管理员构成. ...
最新文章
- sublime :[Decode error - output not utf-8]
- django简单实现文件上传
- 用计算机弹奏hop,关于职称计算机Photohop模拟练习题参考
- P3599-Koishi Loves Construction【构造,数论】
- 如何在React Native中使用React JS Hooks?
- python变量名必须以什么开头_python变量为什么不能以数字开头
- PX4代码解析(2)
- Python官方文档学习心得(第六篇)
- 数据结构—线性表及其实现方式
- mysql常见函数的实列
- [20171206]位图区一定在数据文件开头吗.txt
- 血液透析机最全学习手册
- python你好代码-再见,Python。你好,Go语言。
- 《C语言入门经典》Ivor Horton第10章习题2
- 尚硅谷-Dubbo篇
- Base64加密与解密
- 【Web技术】948- 生成前端海报的 N 种方案和优劣
- 2017 Unite大会总结
- gRPC教程 — 第一章
- PHP面试题(含答案),持续更新