Flink基础系列7-通过Web UI执行jar文件
文章目录
- 环境准备
- 一.准备代码
- 1.1 maven准备
- 1.2 Java代码准备
- 二.打包
- 三.通过Web UI执行jar文件
- 3.1 上传文件
环境准备
本地Windows环境已安装Flink 1.9.0版本。
一.准备代码
1.1 maven准备
配置Flink的依赖
<dependency><groupId>org.apache.flink</groupId><artifactId>flink-java</artifactId><version>1.9.0</version><scope>provided</scope></dependency><dependency><groupId>org.apache.flink</groupId><artifactId>flink-streaming-java_2.11</artifactId><version>1.9.0</version><scope>provided</scope></dependency><dependency><groupId>org.apache.flink</groupId><artifactId>flink-core</artifactId><version>1.9.0</version></dependency>
1.2 Java代码准备
还是以大家耳熟能详的wordCount程序为例
package com.zqs.study.flink;import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.operators.DataSource;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.util.Collector;/*@author 只是甲* @date 2021-08-24* @remark Flink的第一个wordCount程序*/public class wordCount {public static void main(String[] args) throws Exception{//创建执行环境ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();//从文件中读取数据String inputPath = "C:\\Users\\Administrator\\IdeaProjects\\FlinkStudy\\src\\main\\java\\com\\zqs\\study\\flink\\hello.txt";DataSet<String> inputDataSet = env.readTextFile(inputPath);// 对数据集进行处理,按空格分词展开,转换成(word, 1)二元组进行统计DataSet<Tuple2<String, Integer>> resultSet = inputDataSet.flatMap(new MyFlatMapper()).groupBy(0) // 按照第一个位置的word分组.sum(1); // 将第二个位置上的数据求和;resultSet.print();//env.execute();//env.execute("Word Count Example");}//自定义类,实现FlatMapFunction接口public static class MyFlatMapper implements FlatMapFunction<String, Tuple2<String, Integer>> {@Overridepublic void flatMap(String value, Collector<Tuple2<String, Integer>> out) throws Exception {//按空格分词String[] words = value.split(" ");//遍历所有word,包成二元组输出for (String word : words) {out.collect(new Tuple2<String, Integer>(word, 1));}}}
}
二.打包
我这边是直接package了,一般步骤是clean、complie、test、package
如下截图是打包生成的文件路径
三.通过Web UI执行jar文件
3.1 上传文件
选择"Submit New Job"后,选择"Add New"
选中第二步打包生产的jar文件
如下提示上传成功
但是要注意的是,我们只是把jar文件是上传到服务器上,而并没有开始执行
双击界面上的jar文件,可以看到有参数
Entry class 我们需要运行的class的完整路径
Parallelism 并行度
Program Arguments Java程序中的自定义变量
Savepoint Path Savepoint保存的路径
我们直接输入class名称,其余的默认,点击Submit
程序开始执行
等待一会儿,执行成功
Flink基础系列7-通过Web UI执行jar文件相关推荐
- 使用intellij idea制作可执行jar文件
可执行jar文件 一个可执行的 jar文件是一个自包含的 Java 应用程序,它存储在特别配置的 JAR 文件中,可以由 JVM 直接执行它而无需事先提取文件或者设置类路径.要运行存储在非可执行的 J ...
- 生成可执行jar文件
若要生成一个名为 cal.jar 的可执行jar文件:(文件名可以是任意合法名字) (这是我认为简单实用的一种方法,还有很多别的方法在此就不介绍了) 第一 把程序生成的所有字节码文件(即.class文 ...
- shell 脚本初步,启动可执行 jar 文件
可能很多同学在看到这篇文章的时候是第一次接触 shell 脚本.所以我们首先需要了解什么是 shell 脚本. 在 Windows 里我们经常会看到一种扩展名为 .bat 的文件,它称为批处理文件.批 ...
- Java Maven项目打包成可执行jar文件
在pom文件中添加一下内容 <build><plugins><plugin><!-- Build an executable JAR --><gr ...
- 如何将Java代码导出变为可执行jar文件
如何将Java代码导出变为可执行jar文件 1右击项目选择导出 2.选择Java中导出为可执行JAR文件 选择要导出的文件以及导出的路径 导出后为 双击即可运行运行不了可在当前目录下打开cmd窗口运行 ...
- Windows环境下如何方便快捷的执行jar文件
Windows环境下如何方便快捷的执行jar文件 1 介绍 后缀文件为.jar的文件是java的打包文件,通常包含的是一个完整的java应用程序.在Windows环境下面获取的软件如果是jar文件,最 ...
- 利用批处理命令执行.jar文件
利用批处理命令执行.jar文件 1.创建.jar文件(此处为一个java项目,主函数里只有一条语句System.out.println("请输入一个字符串:");) 2.创建批处理 ...
- Flink基础系列8-Flink on yarn运行wordcount程序
文章目录 环境介绍 一.Maven配置 二.Java代码编写 三.Maven打包并上传 四.运行jar文件 五.运行其它的class文件 参考 环境介绍 测试服务器CDH 6.3.1版本安装Flink ...
- Flink基础系列20-数据重分区操作
文章目录 一.数据重分区 参考: 一.数据重分区 重分区操作,在DataStream类中可以看到很多Partitioner字眼的类. 其中partitionCustom(-)方法用于自定义重分区. 测 ...
最新文章
- 用户利益何在:微软Windows10新政背后的疑问
- Tableau 绘制折线图
- 扩展和修改 Enterprise Library 缓存应用程序块
- XMind2020的一些使用小技巧
- Lucky 7 in the Pocket
- (七)全半角转换(转)
- KnockoutJS 3.X API 第七章 其他技术(2) 使用扩展器来增加可观察量(监控属性)
- 第一个JDK 10(18.3)候选版本(内部版本43)展示了新的版本控制方案
- 【总结】C语言实用算法系列之知识点梳理_附学生管理系统各模块代码
- 机器学习07应用机器学习的建议
- SpringBoot之SpringMVC自动配置
- 使用构建器模式来帮助您的单元测试
- javascript的list循环
- ASP.NET 运行时详解 揭开请求过程神秘面纱
- phpstorm使用技巧
- PayPal提现银行不给入账要退回?最新解决方法如下!!!
- java枚举转换_java枚举类(转)
- 多学5个实用Excel技巧,工作早做完,比同事早下班
- 支持5G WIFI的串口服务器
- Vivado:Generate Bitstream比特流写入失败的解决方法