flink 7-提交任务

提交方式

一般都是提交到yarn上，当然单机也是可以跑的，而且单机不用安装flink和hadoop

第一种提交到yarn的方法

提交到yarn-cluster

flink -m yarn-cluster -c className -j *.jar -d > log.log 2>&1 &

第二种提交到yarn的方法

先启一个yarn-session，在yarn上开辟一块资源，这时会生成一个yid，然后向这个资源池里提交任务

yarn-session.sh -n 9 -tm 1024 -s 4 -nm Name -d

然后向这个yid中提交job

flink run -c className -j *.jar -yid application_id -d > log.log 2>&1 &

两种提交yarn的区别

个人理解第一种方法各种配置比较个性化，第二种可以在yarn上开辟资源，往session中提交多个job

flink 7-提交任务相关推荐

flink 任务提交问题汇总
flink 任务提交问题汇总 1.提交flink自带任务WordCount.jar遇到的问题: 2.提交flink 批处理任务时遇到的问题 3.flink定时任务,mysql连接超时问题 4.flin ...
Flink界面提交任务报错500【The program plan could not be fetched】
flink界面提交任务 F12报错 network报错: {"errors":["Internal server error.","<Excep ...
flink二阶提交(没有搞完)
举例说明甲乙丙丁四人要组织一个会议,需要确定会议时间,不妨设甲是协调者,乙丙丁是参与者. 投票阶段: (1)甲发邮件给乙丙丁,周二十点开会是否有时间: (2)甲回复有时间: (3)乙回复有时间: ( ...
Flink任务提交on-YARN
1. yarn-session 模式任务提交配置环境变量 HADOOP_CLASSPATH 否则yarn-session.sh命令会报错 ######## HADOOP_HOME export HA ...
【Flink】FLink 提交报错 instead of minReplication (=1). There are 3 datanode(s) running and 3 node(s) are
文章目录 1.场景1 1.1 概述 1.2. 随便put一个文件 1. 3. 尝试权限 1.4. safemode 1.5 .解决 2.场景2 1.场景1 1.1 概述 flink任务提交报错,错误如 ...
本地提交到yarn_Yarn运行Flink作业 0449
Yarn运行Flink作业 link支持多种部署模式:本地.集群(Standalone/YARN).云(GCE/EC2).Standalone部署模式与Spark类似,这里,我们看一下Flink on ...
Flink运行时架构及各部署模式下作业提交流程
1.运行时架构 1.1 核心组件 1.1.1 JobManager 作业管理器,对于一个提交执行的作业,JobManager 是真正意义上的"管理者"(Master),负责管理调度 ...
大数据学习之Flink环境搭建+提交任务方式
1.独立集群独立集群不需要依赖任何框架,独立运行 1.上传解压配置环境变量 tar -xvf flink-1.15.0-bin-scala_2.12.tgz vim /etc/profilesour ...
在YARN上使用Flink有3种模式：Per-Job模式、Session模式和Application模式-1。job的轻巧提交设置
在YARN上使用Flink有3种模式:Per-Job模式.Session模式和Application模式. Flink作业运行 https://weread.qq.com/web/reader/1b9 ...
Flink两阶段提交
文章目录 Flink两阶段提交 1.EXACTLY_ONCE语义 2.Kafka的幂等性和事务 2.1 幂等性 2.2 事务 3.两阶段提交协议 4.TwoPhaseCommitSinkFunctio ...

flink 7-提交任务

提交方式

第一种提交到yarn的方法

第二种提交到yarn的方法

两种提交yarn的区别

flink 7-提交任务相关推荐

最新文章

热门文章