1.安装flink-1.12.2

FLINK on YARN模式

解压安装包：

tar -zvxf  flink-1.12.2-bin-scala_2.11.tgz /opt/

修改yarn配置，设置application master重启时尝试的最大次数（cdh内有此参数，默认是2）：

<property>
<name>yarn.resourcemanager.am.max-attempts</name>
<value>10</value>
<description>
The maximum number of application master execution attempts.
</description>

配置flink-conf.yaml文件（有些配置已存在，只需要修改参数）

cd /opt/flink-1.12.2/conf/
vi flink-conf.yaml

taskmanager.memory.process.size: 8192m
taskmanager.memory.managed.fraction: 0.2
jobmanager.memory.process.size: 2048m
taskmanager.numberOfTaskSlots: 3
cluster.evenly-spread-out-slots: true
parallelism.default: 10high-availability: zookeeper
high-availability.storageDir: hdfs:///flink/ha
high-availability.zookeeper.quorum: node1:2181,node2:2181,node3:2181
high-availability.zookeeper.path.root: /flinkyarn.application-attempts: 5
rest.port: 8085
web.submit.enable: true
io.tmp.dirs: /tmpclassloader.resolve-order: parent-first
classloader.check-leaked-classloader: falsestate.backend: rocksdb
execution.checkpointing.interval: 30000
state.checkpoints.dir: hdfs:///flink/checkpoints
state.checkpoints.num-retained: 10
state.savepoints.dir: hdfs:///flink/savepoints
state.backend.incremental: truehistoryserver.web.port: 8082
historyserver.archive.fs.refresh-interval: 10000jobmanager.execution.failover-strategy: region

修改zoo.cfg：

vi zoo.cfg

#添加zookeeper集群
server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888

配置环境变量：

vi /etc/profile

export FLINK_HOME=/opt/flink-1.12.2
export PATH=$FLINK_HOME/bin:$PATH
export HADOOP_CLASSPATH=`hadoop classpath`
source /etc/profile

测试

FLINK on YARN示例：
yarn-session模式：

#启动成功后，在yarn集群查看，名字是test
bin/yarn-session.sh -nm test  -d  #启动flinksql客户端
bin/sql-client.sh embedded -s test

1.安装flink-1.12.2相关推荐

Flink （一）centos安装Flink v1.12 用于测试
目录下载 Flink 安装包安装过程下载 Flink 安装包 https://flink.apache.org/downloads.html 链接:https://pan.baidu.com/s ...
Flink 1.12 资源管理新特性
简介:介绍 Flink 1.12 资源管理的一些特性,包括内存管理.资源调度.扩展资源框架. 本文由社区志愿者陈政羽整理,Apache Flink Committer.阿里巴巴技术专家宋辛童,Apac ...
Flink 1.12 资源管理新特性回顾
简介: 介绍 Flink 1.12 资源管理的一些特性,包括内存管理.资源调度.扩展资源框架. 本文由社区志愿者陈政羽整理,Apache Flink Committer.阿里巴巴技术专家宋辛童,Apa ...
官宣 | Apache Flink 1.12.0 正式发布，流批一体真正统一运行！
‍‍ 翻译 | 付典 Review | 徐榜江.朱翥 Apache Flink 社区很荣幸地宣布 Flink 1.12.0 版本正式发布!近 300 位贡献者参与了 Flink 1.12.0 的开发, ...
Flink 1.12的CDC
基于Flink构建流批一体的实时数仓是目前数据仓库领域比较火的实践方案.随着Flink的不断迭代,其提供的一系列技术特性使得用户构建流批一体的应用变得越来越方便.本文将以Flink1.12为例,一一介 ...
0001-Flink安装---Flink安装(Standlone模式)
一.获取安装包,上传至服务器并解压在安装Flink之前,我们先要获取到flink-1.10.1-bin-scala_2.12.tgz.zip安装包. (注意:Flin有两个版本分别是flink-1. ...
在CDH集群安装Flink
版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/scl323/article/detai ...
TensorFlow安装【2018/12更新】+文档查询以及栏目配置（Windows）
栏目配置这一part只是栏目配置而已文章目录栏目配置安装 TensorFlow官网这里主要是为了获取到那个图片简单的爬虫解决这个问题: >>> import reques ...
linux下一键编译安装MariaDB10.0.12
虽然网上有很多的lnmp一键安装包,可以直接安装集成环境. 但是有时候我们需要单独的安装mariadb,则可以使用下面的脚本来安装. # 一键CMAKE编译安装mariadb-10.0.12 # 安装 ...
ubuntu12.4上安装minigui3.0.12
在ubuntu12.4上安装minigui3.0.12 一下载源文件移植所需的文件可以从minigui官网下载:http://www.minigui.org/en/download/ 主要文件有: ...

1.安装flink-1.12.2

FLINK on YARN模式

解压安装包：

修改yarn配置，设置application master重启时尝试的最大次数（cdh内有此参数，默认是2）：

配置flink-conf.yaml文件（有些配置已存在，只需要修改参数）

修改zoo.cfg：

配置环境变量：

测试

1.安装flink-1.12.2相关推荐

最新文章

热门文章