真实集群下-flink shell的remote模式实验记录

集群结构:

Desktop和Laptop总共两台。

实验步骤:

①start-cluster.sh

②start-scala-shell.sh remote desktop 8082

这里上面的就是flink的web ui和端口。

因为8081和spark冲突，为了同时使用spark，所以我把8081改成8082了

完整代码如下(直接粘贴到shell模式下即可):

val textStreaming = senv.fromElements("good good study,day day up")
val countsStreaming = textStreaming.flatMap { _.toLowerCase.split("\\W+") }.map { (_, 1) }.keyBy(0).sum(1)
countsStreaming.print()
senv.execute("Streaming Wordcount")

终端实验结果:
res1: org.apache.flink.api.common.JobExecutionResult =
Program execution finished
Job with JobID 8e4c42e62ce3ead39e3257f69874aae3 has finished.
Job Runtime: 1273 ms

输出结果在Desktop或者Laptop下面(随机分配)

$FLINK_HOME/log/flink-appleyuchi-taskexecutor-0-Desktop.out

$FLINK_HOME/log/flink-appleyuchi-taskexecutor-0-Laptop.out

1> 7
2> 3
2> 1
2> 3
1> (up,1)
2> (good,1)
2> (good,2)
2> (study,1)
2> (day,1)
2> (day,2)

真实集群下-flink shell的remote模式实验记录相关推荐

真实集群中Flink命令行各种模式提交wordcount
依然使用[1]中的代码和工程目录结构. ####################编译和运行################################# mvn clean package -Dm ...
Flink的scala+python的shell模式实验记录汇总
根据[1],FLINK的shell有以下一些运行模式 ################################下面是scala-shell########################### ...
2021年大数据Kafka（三）：❤️Kafka的集群搭建以及shell启动命令脚本编写❤️
全网最详细的大数据Kafka文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录系列历史文章 Kafka的集群搭建以及shell启动命令脚本编写一.搭建 ...
运维企业专题（11）RHCS高可用集群下MySql数据库与共享磁盘（单点写入、多点写入）的设置
实验环境主机名 IP 服务 server1 172.25.6.1 ricci,luci, iscsi,mysql-server server2 172.25.6.2 ricci,iscsi,mysq ...
mysql集群集成springboot_springboot配置数据库包括集群下配置
首先准备数据库的必要信息. 查询当前数据库实例名方法一:select instance_name from v$instance; 方法二:show parameter instance 查询数据库 ...
yarn集群下启动spark错误WARN:66 - Neither spark.yarn.jars nor spark.yarn.archive is set
yarn集群下启动spark错误如下: WARN Client:66 - Neither spark.yarn.jars nor spark.yarn.archive is set, falling ...
在CDH集群安装Flink
版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/scl323/article/detai ...
Hadoop高可用集群下namenode格式化失败问题解决
Hadoop高可用集群下namenode格式化失败问题解决输入hdfs namenode -format报如下错误解决方法: 1.在zookeeper目录下执行./bin/zkServer.sh ...
k8s集群下搭建数据同步工具-canal:canal-admin篇
k8s集群下搭建数据同步工具-canal:canal-admin篇前言容器化 canal-admin 环境准备 k8s集群创建pod canal-admin 前言本文使用v1.1.4版本的can ...

真实集群下-flink shell的remote模式实验记录

真实集群下-flink shell的remote模式实验记录相关推荐

最新文章

热门文章