【Flink实战系列】Flink 1.11.1 on yarn 集群搭建教程

前面一篇博客中已经搭建了flink Standalone的集群,需要的可以进去看一下,今天主要来说一下flink on yarn 集群的搭建以及怎么提交任务,之前搭建Flink on yarn的时候用的还是1.6.0的版本,现在Flink已经release到1.11.1了,所以就把文章更新一下,其实Flink on yarn的搭建非常的简单,只需要随便找一台yarn上的节点当做是Flink的client就可以提交任务了.任务的调度是交给yarn来管理的,Flink只需要提供一个客户端就行了.

版本信息:

flink-1.11.1

zookeeper-3.4.10

hadoop-2.9.0

zk和hadoop集群的搭建,今天这里就不说了,主要说一下flink的.

(1). vi flink-conf.yaml (里面具体的参数大小可以根据自己的机器实际情况而定)我配置的比较简单有的配置可能已经变了,需要改成最新的配置.

env.java.home: /home/jason/bigdata/jdk/jdk1.8.0_11
jobmanager.rpc.address: master
taskmanager.heap.size: 4096
taskmanager.numberOfTaskSlots: 4
#parallelism.default: 8
taskmanager.tmp.dirs: /tmp
jobmanager.heap.size: 1024
jobmanager.web.port: 8085
jobmanager.rpc.port: 6123
state.backend: filesystem
state.backend.fs.checkpointdir: hdfs:///flink/checkpoints
#taskmanager.network.numb

【Flink实战系列】Flink 1.11.1 on yarn 集群搭建教程相关推荐

不看就亏系列！这里有完整的 Hadoop 集群搭建教程，和最易懂的 Hadoop 概念！| 附代码...
作者 | chen_01_c 责编 | Carol 来源 | CSDN 博客封图 | CSDN付费下载于视觉中国 hadoop介绍 Hadoop 是 Lucene 创始人 Doug Cutting, ...
flink on yarn集群搭建
环境需求 CentOS7.5.1804.jdk1.8.0_181.zookeeper3.6.2.hadoop3.2.2.flink1.12.2 关于hadoop的安装细节请查看<hadoop3. ...
Flink集群搭建以及企业级yarn集群搭建
Flink下载: Apache Flink: 下载根据自己想要下载的版本,下载指定版本我下载的是7.2hadoop版本解压后启动: 本地启动 [root@node01 flinkhadoop1.7 ...
大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建图文详解
引言在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单 ...
Flink系列之Flink集群搭建
title: Flink系列二.Flink集群搭建 2.1 Flink的Standalone模式集群安装 1.上传解压重命名 [root@hadoop10 software]# tar -zxvf ...
实时计算框架：Flink集群搭建与运行机制
一.Flink概述 1.基础简介 Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算.Flink被设计在所有常见的集群环境中运行,以内存执行速度和任意规模来执行计算.主要特性包 ...
SLAM导航机器人零基础实战系列：（五）树莓派3开发环境搭建——1.安装系统ubuntu_mate_16.04...
SLAM导航机器人零基础实战系列:(五)树莓派3开发环境搭建--1.安装系统ubuntu_mate_16.04 摘要通过前面一系列的铺垫,相信大家对整个miiboo机器人的DIY有了一个清晰整体的认 ...
SLAM导航机器人零基础实战系列：（五）树莓派3开发环境搭建——5.Android手机端与robot端ROS网络通信...
SLAM导航机器人零基础实战系列:(五)树莓派3开发环境搭建--5.Android手机端与robot端ROS网络通信摘要通过前面一系列的铺垫,相信大家对整个miiboo机器人的DIY有了一个清晰整 ...
SLAM导航机器人零基础实战系列：（五）树莓派3开发环境搭建——2.安装ros-kinetic
SLAM导航机器人零基础实战系列:(五)树莓派3开发环境搭建--2.安装ros-kinetic 摘要通过前面一系列的铺垫,相信大家对整个miiboo机器人的DIY有了一个清晰整体的认识.接下来就正式 ...

【Flink实战系列】Flink 1.11.1 on yarn 集群搭建教程

版本信息:

【Flink实战系列】Flink 1.11.1 on yarn 集群搭建教程相关推荐

最新文章

热门文章