前言

虽然博主之前写过基于Prometheus PushGateway搭建Flink监控的过程，但是在我们的生产环境中，使用的是InfluxDB。InfluxDB是一个由Go语言写成的、由InfluxData部分开源的时序数据库，能够非常好地处理监控指标的存储和查询，配合Grafana即可简单地实现Flink作业metrics的收集与展示。本文简述配置过程及一些小问题。

硬件参数

新版InfluxDB的集群版是收费的，但是单点也足够我们存储较长时间的监控数据了。

  • CPU：Intel E5 v4 12C/24T

  • 内存：96GB

  • 硬盘：500GB SSD * 2

  • 网络：10Gbps

  • 操作系统：CentOS 7.5 64-bit

  • InfluxDB 1.8

  • Grafana 6.7.4

安装与配置InfluxDB

先下载RPM包，再用yum localinstall安装，可以自动解决依赖关系。

wget https://dl.influxdata.com/influxdb/releases/influxdb-1.8.0.x86_64.rpm
yum -y localinstall influxdb-1.8.0.x86_64.rpm

安装完毕后，配置文件位于/etc/influxdb/influxdb.conf。具体配置项可参见官方文档，有一些需要注意的，列举如下。

  • 元数据存储目录

Flink从入门到精通100篇（三）-如何利用InfluxDB+Grafana搭建Flink on YARN作业监控大屏环境相关推荐

  1. Flink从入门到精通100篇（二十三）-基于Apache Flink的爱奇艺实时计算平台建设实践

    前言 随着大数据的快速发展,行业大数据服务越来越重要.同时,对大数据实时计算的要求也越来越高.今天会和大家分享下爱奇艺基于Apache Flink的实时计算平台建设实践. 今天的介绍会围绕下面三点展开 ...

  2. Flink从入门到精通100篇（二十四）-对Flink SQL Client 源码做深度解析

    前言 本文基于 Flink 1.12-SNAPSHOT,使用sql client命令行提交insert语句进行整个流程的分析. sql-client.sh embedded --update &quo ...

  3. Flink从入门到精通100篇（二十二）-Apache Flink OLAP引擎性能优化及应用

    前言 本次分享的主题为Apache Flink新场景--OLAP引擎,主要内容包括: 背景介绍 Apache Flink OLAP引擎 案例介绍 未来计划 1. OLAP及其分类 OLAP是一种让用户 ...

  4. influxdb tsm文件_利用InfluxDB+Grafana搭建Flink on YARN作业监控大屏

    Flink 从入门到精通 系列文章 前言 虽然笔者之前写过基于Prometheus PushGateway搭建Flink监控的过程,但是在我们的生产环境中,使用的是InfluxDB.InfluxDB是 ...

  5. Flink从入门到精通100篇（二十一）-万字长文详解 Flink 中的 CopyOnWriteStateTable

    前言 现如今想阅读 HashMap 源码实际上比较简单,因为网上一大堆博客去分析 HashMap 和 ConcurrentHashMap.本文详细分析 CopyOnWriteStateTable 源码 ...

  6. Flink从入门到精通100篇（二十）-跨境电商 Shopee 的实时数仓之路

    前言 本文讲述 Flink 在 Shopee 新加坡数据组 ( Shopee Singapore Data Team ) 的应用实践,主要内容包括: 实时数仓建设背景 Flink 在实时数据数仓建设中 ...

  7. Flink从入门到精通100篇（十三）-Flink的入门教学

    前言 Flink 是一种流式计算框架,为什么我会接触到 Flink 呢?因为我目前在负责的是监控平台的告警部分,负责采集到的监控数据会直接往 kafka 里塞,然后告警这边需要从 kafka topi ...

  8. Flink从入门到精通100篇（二十一）-Apache Flink 与 Apache Hive 的集成

    前言 随着 Flink 在流式计算的应用场景逐渐成熟和流行.如果 Flink 能同时把批量计算的应用场景处理好,就能减少用户在使用 Flink 的开发和维护成本,并且能够丰富 Flink 的生态.因为 ...

  9. Flink从入门到精通100篇（二十三）-Flink实战应用案例：如何清理过期的 Checkpoint 目录？

    目录 Flink Checkpoint 目录的清除策略 生产环境应该选择哪种清除策略 生产环境必须定期脚本清理 Checkpoint 和 Savepoint 目录 RocksDB 增量 Checkpo ...

最新文章

  1. go连接Kafka报错kafka: client has run out of available brokers to talk to
  2. python中的中文乱码问题深入分析
  3. BI中事实表和维度表的定义+具体SQL操作(转载+自己添加实验)
  4. Autofac IoC容器基本使用步骤【1】
  5. php案例分析百度云_百度阅读｜助力推动阅读领域无障碍优化（二）
  6. 冒泡排序法_排序算法 冒泡排序法
  7. linux消息队列总结
  8. dom4j 中文api
  9. 阿里云发布“码上公益”平台 打造更高效透明的“科技公益”
  10. java String 详解
  11. Web前端工程师修炼之道(原书第4版) 中文pdf扫描版
  12. [索尼]笔记本电脑驱动程序安装顺序？
  13. 计算机单位kb和m比较,G、GB、KB、M和MB是怎么回事？
  14. springboot 实现长链接转短链接
  15. 读书笔记-情感化设计
  16. pwn unlink
  17. 一个古典App开发者的DApp开发之路
  18. et文件怎么转成excel_excel怎么转换成word格式的文件格式？这些方法应该掌握！...
  19. 机器学习岗位的面试准备——总结1
  20. java实现七巧板问题_[Java教程]canvas,绘制七巧板

热门文章

  1. 第三十八讲：tapestry Ajax 关联下拉选框(select)组件
  2. XP系统限制修改IP有新招
  3. Windows Live Messenger 8.5 抢先试用
  4. DefWindowProc
  5. IDEA2021快捷键windows
  6. PAT甲级1027 Colors in Mars ：[C++题解]进制位
  7. 要你命3000List31
  8. leetcode 752. 打开转盘锁 c代码
  9. 每次执行java命令 都要source_跟着平台混了四年，现在要单飞了！
  10. python中multiindex如何索引_python – MultiIndex DataFrames的Pandas HDFStore：如何有效地获取所有索引...