大数据_Flink_数据处理_命令行提交Job---Flink工作笔记0014
上一节我们已经通过web端,把jar包,都提交上去了,也可以执行了对吧,但是
我们如果想通过命令行操作怎么弄?
可以看到我们可以这样做
我们通过./bin/flink run -c com.atguigu.wc.StreamWorldCount -p 3 /mnt/d/Projects/BigData/FlinkTutorial/target/FlinkTutorial-1.0-SNAPSHOT.jar --host localhost --port 7777
这个命令执行,可以看到指定了要执行的class,然后指定了-p 3并行度,然后指定了要执行的jar包路径
然后指定了要在哪执行,可以看到jobmanager的地址对吧 localhost --port 7777
然后我们回车就把这个jar包提交了
大数据_Flink_数据处理_命令行提交Job---Flink工作笔记0014相关推荐
- 大数据_Flink_数据处理_流式数据源测试---Flink工作笔记0010
前面我们已经写好了,流式数据处理的案例了. 但是我们执行的时候可以看到,我们输入的流,实际上是我们准备的一个文件对吧. 一个Text文件,实际上不算是一个流式数据源 那么正式环境的时候,一般都是,用流 ...
- 大数据_Flink_数据处理_案例WorldCount_批处理版---Flink工作笔记0008
flink给我们提供了,java和scala两套不同的api,现在我们以java来做为开发语言. 首先我们去创建一个项目. GroupId:com.atguigu ArtifactId:FlinkTu ...
- 大数据_Flink_数据处理_运行时架构2_作业提交流程_抽象架构---Flink工作笔记0017
1.首先先去提交任务,这个提交任务可以是在网页端后台,也可以是在命令行提交任务. 在网页端后台提交就是flink的网页管理端对吧. 2.第1步任务将会被提交到分发器 3.第2步分发器会把任务转交给jo ...
- 大数据_Flink_数据处理_yarn和k8s平台的flink部署---Flink工作笔记0015
上一节我们已经学习了,怎么使用命令行来提交job集群,但是这样是有问题的. 因为在上一节中,我们为了要运行一个我们写的WordCountStream这个任务.由于资源不够了,我们主动去终止了之前上传的 ...
- 大数据_Flink_数据处理_运行时架构3_yarn上作业提交流程---Flink工作笔记0018
然后我们再来看看,yarn上面的flink的job提交流程,可以看到 首先flink client,1.先去上传flink的jar包和配置,到HDFS,然后,2再提交job任务,给resourcema ...
- 大数据_Flink_数据处理_运行时架构8_数据传输和任务链---Flink工作笔记0023
然后我们再来看上一步我们理解了数据流的执行,生成过程, 然后我们再来看数据流的传输以及任务链,因为如果需要知道 两个任务到底是如何合并的,这里就需要知道数据流传输和任务链才行. 首先我们要知道 1.一 ...
- 大数据_Flink_数据处理_运行时架构4_作业调度原理及思考问题---Flink工作笔记0019
首先我们来看这个过程,可以看到 1.比如我们写了一段代码,有可能用java写的,有可能用scala写的,这个代码,首先会生成一个数据流图,然后这个数据流图可以通过客户端client 2.提交给jobm ...
- 大数据_Flink_数据处理_流处理API_Source_自定义测试数据源---Flink工作笔记0028
然后我们来看,一般情况下,从文件中读取数据,用的,不如 从kafka,中读取数据用的多. 然后我们再来看一种,自定义数据源,这个主要是我们可以在上线之前模拟很多的数据来进行测试对吧. 这里我们新写一个 ...
- 大数据_Flink_数据处理_流处理API_Transform(2)_滚动聚合算子_keyBy_sum_min_max_minBy_maxBy---Flink工作笔记0030
然后我们前面看了基本的转换算子,然后我们再来看 数据聚合相关的算子. 我们可以在DataStream中查一下,可以看到,这个里面 竟然没有reduce这样的方法对吧,那怎么办,数据怎么进行聚合啊 我们 ...
最新文章
- centos下两种方法安装git
- android中extends 和implements的区别
- 函数的方法call、apply、bind
- 计算机保存的信息是模拟信号,信息技术考试样题(附解析).doc
- php负责传递数据,php传递数据的方法有哪些
- Windows Azure 部署 Windows 8 虚拟机
- 常见错误Delegate already added to touch dispatcher.的解决方案
- docker load tar.gz包失败解决方法
- 消息队列(Message Queue)简介及其使用
- Fine-grained prosody modeling in neural speech synthesis using ToBI representation
- 【NTL密码算法开源库-概述】
- java爬取斗鱼:与虎牙对比
- win7怎么查看计算机用户名,Win7怎么查看自己电脑ip地址?
- python -m的那些实用功能
- Scratch软件编程等级考试三级——20191221
- 算法自学笔记:Convex Hull问题
- Java的字节流和字符流
- bootstrap3的jumbotron和glyphicon glyphicon-*的用法
- B2B从销售到深度协作
- uni-app日期选择组件-基于mx-datepicker修改
热门文章
- Eclipse 解决PHP函数代码不能自动提示问题
- cad2010多个文件并排显示_飞利浦显示器推荐,提升你的工作效率与水平
- STM8学习笔记---串口printf函数的实现
- deeplung代码实现主题讲解
- 安装caffe时出现“MySQL”不是内外不wenjian
- Python机器学习 使用sklearn构建决策树复习
- Qt TextEdit 使用 (积累中....)
- fatal error C1083: Cannot open source file
- 毕设日志——Linux服务器状态查询命令
- HTML5地图分布动画