一、standalone 模式

1.1上传依赖包打开配置文件

解压依赖包通过文件传输工具上传到 opt目录下

[root@localhost ~]# cd /
[root@localhost /]# ls
bin  boot  dev  etc  home  jdk  lib  lib64  media  mnt  mydata  opt  proc  root  run  sbin  srv  swapfile  sys  tmp  usr  vagrant  var
[root@localhost /]# cd opt/flink-1.10.1-bin-scala_2.12/
[root@localhost flink-1.10.1-bin-scala_2.12]# ls
flink-1.10.1
[root@localhost flink-1.10.1-bin-scala_2.12]# cd flink-1.10.1/
[root@localhost flink-1.10.1]# ls
bin  conf  examples  lib  LICENSE  licenses  log  NOTICE  opt  plugins  README.txt
[root@localhost flink-1.10.1]# vi conf/flink-conf.yaml

1.2 主要配置文件 flink-conf.yaml 中主要配置介绍

1.3 启动及 jobmanager管理页面显示

bin目录下

./start-cluster.sh 启动该脚本会依赖其它脚本，如果没权限那就 chmod 777 文件名

启动成功后访问当前机器 8081端口这个是配置在master文件中的

访问成功页面如下

二、job的提交运行（前端页面方式）

把本地的maven项目编译打包，本地主要代码如下

package wcTest;import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.typeinfo.Types;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;public class FlinStreamSocketWordCountPrintTest {public static void main(String[] args) throws Exception {//get runtime environmentStreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();//read content into dataset from fileDataStream<String> stringDataSet = env.socketTextStream(args[0],Integer.parseInt(args[1]));//count word appeared timesDataStream<Tuple2<String, Integer>> sum = stringDataSet.flatMap((FlatMapFunction<String, Tuple2<String, Integer>>) (value, collector) -> {String[] words = value.split(" ");for (String word : words) {collector.collect(new Tuple2<>(word, 1));}}).returns(Types.TUPLE(Types.STRING, Types.INT)).keyBy(0).sum(1).setParallelism(2);//print content of datasetsum.print().setParallelism(1);env.execute();}}

在flink前端首页添加job 配置参数

可以看到各算子的并行度为下

并行度的优先度为代码中的>启动job时的并行度设置，上图为3 > env配置的(没配置本地取cpu核数，linux取配置文件默认的1)

挨着的相同并行度的任务会被合并如下图 source与 socketstream

启动任务时记得先开个linux窗口执行以下命令模拟socket流

第一遍启动一直在那转圈圈，发现最大并行度为3 但是我的 slot总数就只有1 所以启动不了等待足够的slot才能启动job 所以修改配置文件中如下配置从 1 改为 4

再次启动启动成功

1.3job的提交运行（命令行方式）

二、Yarn模式

上面的taslmanager，slots资源啥的都是配死的，下面的是为了资源的灵活调度可以看看，需要时再去用

四、Flink部署 , job配置与运行相关推荐

Flink部署——内存配置
文章目录配置 Flink 进程的内存配置总内存 JVM 参数受限的等比内存部分配置 TaskManager 内存配置总内存配置堆内存和托管内存任务(算子)堆内存(Task (Operat ...
学习笔记Flink（五）—— Flink开发环境配置及运行实例(单词计数)
一.Intellij IDEA 环境配置 1.创建Maven工程 1.1.开发环境 Maven && JDK 1.2.Pom配置 Compiler Configuration 在pom ...
caffe学习（四）：py-faster-rcnn配置，运行测试程序（Ubuntu）
上一篇博客中讲了在Ubuntu下安装caffe的经验总结(各种问题,简直怀疑人生了).博客链接:点我打开 faster-rcnn有两个版本,分别是python的和MATLAB的.这里介绍python版 ...
VMware虚拟机安装CentOS8 2023最新详细图文安装教程(VMware虚拟机安装+CentOS8下载+CentOS相关配置及运行)
名人说:君子生非异也,善假于物也.--荀子作者:Code_流苏(CSDN) o(‐^▽^‐)o很高兴你打开了这篇博客,跟着步骤一步步尝试安装吧.✧ 目录一.简单介绍二.安装虚拟机VMware 三 ...
OpenStack环境搭建（四：web控制端各节点的部署及配置）
实验要求: 完成Virtual box平台安装,会应用相关操作: 在virtual box虚拟平台上部署Fuel Master节点: 在virtual box虚拟平台上部署计算节点Computer: ...
【Druid】（四）Apache Druid 部署和配置（单机版 / Docker 容器版 / Kubernetes 集群版）
文章目录一.Apache Druid 部署 1.1 单机版 1.1.1 Jar 包下载 1.1.2 Druid 的安装部署 1.2 Docker 容器版 1.2.1 下载 1.2.2 配置 Dock ...
Flink部署完整使用 (第三章)
Flink部署完整使用一.认识 1).快速启动一个Flink集群 1.环境配置 2.本地启动 1. 下载安装包 2. 解压 3. 启动 4. 访问Web UI 5. 关闭集群 2).集群启动 1. ...
Nginx（四）：Nginx配置实战
相关阅读: Nginx(一):Nginx原理概述与安装步骤详解 Nginx(二):反向代理原理与配置文件详解 Nginx(三):负载均衡策略与 Nginx静态服务器 Nginx(四):Ngi ...
vSphere Data Protection 6.1.2部署与配置
本文将介绍VDP 6.1.2的部署与配置,主要内容包括部署VDP的OVA模板.初始化配置VDP.测试备份虚拟机以及测试恢复虚拟机等.关于VDP 6.1的一些介绍性资料请移步vSphere Data P ...
MED-V服务器的部署与配置
MED-V是 Microsoft Enterprise Desktop Virtualization的缩写, MED-V提供了桌面虚拟化解决方案.MED-V的桌面虚拟化的大致流程:利用微软的VPC2 ...

四、Flink部署 , job配置与运行

一、standalone 模式

1.1上传依赖包打开配置文件

1.2 主要配置文件 flink-conf.yaml 中主要配置介绍

1.3 启动及 jobmanager管理页面显示

二、job的提交运行（前端页面方式）

1.3job的提交运行（命令行方式）

二、Yarn模式

四、Flink部署 , job配置与运行相关推荐

最新文章

热门文章

四、Flink部署 , job配置与运行

一、standalone 模式

1.1上传依赖包 打开配置文件

1.2 主要配置文件 flink-conf.yaml 中主要配置介绍

1.3 启动 及 jobmanager管理页面 显示

二、job的提交运行（前端页面方式）

1.3job的提交运行（命令行方式）

二、Yarn模式

四、Flink部署 , job配置与运行相关推荐

最新文章

热门文章

1.1上传依赖包打开配置文件

1.3 启动及 jobmanager管理页面显示