pyflink shell on yarn在per-job cluster模式下的实验记录

实验记录:

①启动hadoop

②$FLINK_HOME/bin/pyflink-shell.sh yarn

使用了Table API的PyFlink完整代码如下:

import tempfile
import os
import shutil
sink_path = tempfile.gettempdir() + '/streaming.csv'
if os.path.exists(sink_path):if os.path.isfile(sink_path):os.remove(sink_path)else:shutil.rmtree(sink_path)s_env.set_parallelism(1)
t = st_env.from_elements([(1, 'hi3', 'hello3'), (2, 'hi3', 'hello3')], ['a', 'b', 'c'])
st_env.connect(FileSystem().path(sink_path)).with_format(OldCsv().field_delimiter(',').field("a", DataTypes.BIGINT()).field("b", DataTypes.STRING()).field("c", DataTypes.STRING())).with_schema(Schema().field("a", DataTypes.BIGINT()).field("b", DataTypes.STRING()).field("c", DataTypes.STRING())).register_table_sink("stream_sink")t.select("a + 1, b, c").insert_into("stream_sink")st_env.execute("stream_job")

实验结果:

在集群中的某个节点(我的是Laptop节点)中的/tmp目录下

(Python3.6) appleyuchi@Laptop:tmp$ cat streaming.csv
2,hi3,hello3
3,hi3,hello3

怎么看是不是per-job模式呢？如下图右侧的yarn界面

pyflink shell on yarn在per-job cluster模式下的实验记录相关推荐

pyflink shell的remote模式下的实验记录
实验步骤: ①$FLINK_HOME/bin/start-cluster.sh ②pyflink-shell.sh remote Desktop 8082 使用了Table API的完整python ...
yarn的clinet和cluster模式区别
1.你要切换到yarn-cluster或者yarn-client模式,很简单,将我们之前用于提交spark应用程序的spark-submit脚本,加上--master参数,设置为yarn-cluste ...
Flink的scala+python的shell模式实验记录汇总
根据[1],FLINK的shell有以下一些运行模式 ################################下面是scala-shell########################### ...
从源码角度看Spark on yarn client cluster模式的本质区别
首先区分下AppMaster和Driver,任何一个yarn上运行的任务都必须有一个AppMaster,而任何一个Spark任务都会有一个Driver,Driver就是运行SparkContext(它 ...
关于spark yarn模式下的常用属性
前言整理了spark官网提供的一些常用的spark属性. Spark属性属性名默认值描述 spark.yarn.am.memory 512m 在Client模式下用于YARN Applicat ...
RocketMQ 5.0 本地源码启动Cluster模式指南
这里是weihubeats,觉得文章不错可以关注公众号小奏技术,文章首发.拒绝营销号,拒绝标题党源码版本这里选用最新的稳定版本5.0 启动方式目前5.0的架构发生了重大调整,添加了一层rocke ...
spark的client模式和cluster模式用法上的区别
运行模式启动命令备注 client模式 spark-shell --master yarn 支持shell,client模式可以在命令行中省去deploy-mode命令项 cluster模式 s ...
spark中local模式与cluster模式使用场景_Spark-Submit 和 K8S Operation For Spark
1 Overview 本文翻译自 Lightbend 的一篇文章,文章日期还比较新,2019/02/26.文章分为两部分,翻译也将分为两个部分.附上文章链接如下: https://www.lightb ...
yarn 怎么查看有多个job在跑_flink on yarn 模式下提示yarn资源不足问题分析
背景在实时计算平台上通过YarnClient向yarn上提交flink任务时一直卡在那里,并在client端一直输出如下日志: (YarnClusterDescriptor.java:1036)- ...

pyflink shell on yarn在per-job cluster模式下的实验记录

pyflink shell on yarn在per-job cluster模式下的实验记录相关推荐

最新文章

热门文章