CC00012.flink——|HadoopFlink.V03|——|Flink.v03|安装部署|StandAlone模式部署|
### --- Flink支持多种安装模式~~~ local(本地):单机模式,一般本地开发调试使用
~~~ StandAlone 独立模式:Flink自带集群,自己管理资源调度,生产环境也会有所应用
~~~ Yarn模式:计算资源统一由Hadoop YARN管理,生产环境应用较多
### --- 基础环境~~~ # jdk1.8及以上【配置JAVA_HOME环境变量】
~~~ # ssh免密码登录【集群内节点之间免密登录】
[root@hadoop01 ~]# java -version
java version "1.8.0_231"[root@hadoop01 ~]# cat .ssh/authorized_keys
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDf1rEa6F/zlreckTPEmVW4gHVi8Q6KUkQH6fN95EiqiEXvoudntlPjq5mdT6VQupuDCJMIbe6pMG276Rn7uDWrY9NZC3uIx3V8PwWbm+mSPJS9uxVYLPxTo4bd8HQrZ5VKsh2NMr+CnVq5Kz5at8z4X3QleeJjCwxbAKHyl4iMsgOTF1/6geNm+0mQiNSvdMDDvmr1wvEtfGMBwKxpCs5QYUuA0ty8nvCQXvoe7AUu3NGNeg494V78uh5gtR+0mB+xbCyVZd61XI0nooPWKpgHyAcsb/mxl8DSDJ2HoZVUWc1D/+KavvOUawAzA7B+/SGjtbRc1RHOMpEmNph6Jk4F root@hadoop01
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCfPLjiMFvSWUIDHGybv58EFwpHC6+wg5/kvBy+86pgvzjFTIV4FN4Rr1gTsaV+38YfvXOt+zAD+DAcZPhgzXjhoii32g4s23Bvwdbru2trb/G0pXBM9rnDZ8i/Q2XQN3DPCIzJ3Vk45ab9dMarj1NvMyMt+3pHgut5QtCFlNG1nJVYZuyKPYnYo9LyPxqIdcL9KrJ/y/a8zUdhbm5OUST0WEFx3bRiP4yTjtX6G4s/NM6ajlgmADCB2VzxSYNYsIL0Y2k1YKqLcIluH8kjCPekmRkhnDduEm5DjuaPjuVoEMNQMzV1qbQUhA4l8PUsL9gF1s08culbqdMfYnOqyxJx root@hadoop02
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDNSwd/9bKDf4AL01SJ5elFAAd+MMzE/O9YfWrgpas/iAUCadKEPLeaoUF2x23Pn87F5sGk7vssyNjYQPgFxXVJcSc2CI/0s3xKjo/Yi8hGhc4SvCqZawQVFaMd+raE5jzbDNQF/B2n0qrBTt3Wnnz5YDKcw0+cYe7vwUVlshVM5+vdhjuSDMA7FROjGIdjxfxWG7hXcJEmlRHR4TEq9oNSl5xSpblspROIzqfRnNYqplJmkML+AsVOtJfOGFCO/197o4YX79MFyYXBF9rk3Ycklp06dkbI/BB1v+9Du2DGGkiCFmRvmUG/qD0HWLFAoE808JonNoDdICXz6yqeUXzT root@hadoop03
### --- 安装包下载~~~ 下载地址:https://archive.apache.org/dist/flink/flink-1.11.1/
![](/assets/blank.gif)
# --- 下载Flink版本包:[root@hadoop01 ~]# wget https://archive.apache.org/dist/flink/flink-1.11.1/flink-1.11.1-bin-scala_2.12.tgz
Hadoop01 | Hadoop02 | Hadoop03 |
JobManager+TaskManager | TaskManager | TaskManager |
### --- 下载版本包并解压到目标文件夹~~~ # 下载版本包并解压
[root@hadoop01 ~]# ls /opt/yanqi/software/flink-1.11.1-bin-scala_2.12.tgz
/opt/yanqi/software/flink-1.11.1-bin-scala_2.12.tgz
~~~ # 解压版本包[root@hadoop01 ~]# cd /opt/yanqi/software/
[root@hadoop01 software]# tar -zxvf flink-1.11.1-bin-scala_2.12.tgz \
-C ../servers/
### --- 修改配置文件:flink-conf.yaml~~~ # 修改配置文件
[root@hadoop01 ~]# vim /opt/yanqi/servers/flink-1.11.1/conf/flink-conf.yamljobmanager.rpc.address: hadoop01 # 设置rpc通信地址设置为hadoop01;flink集群中master地址
taskmanager.numberOfTaskSlots: 1 # 每一个task当中任务槽的数量,默认是1个
parallelism.default: 1 # Flink任务中的并行度
### --- 修改配置文件:master[root@hadoop01 ~]# vim /opt/yanqi/servers/flink-1.11.1/conf/masters
hadoop01:8081 # 设置master主机地址
### --- 修改配置文件:worker[root@hadoop01 ~]# vim /opt/yanqi/servers/flink-1.11.1/conf/workers
hadoop01
hadoop02
hadoop03
### --- 修改配置文件:zoo.cnf~~~ # zoo.cnf:Flink集群的机制是依赖zookeeper的
[root@hadoop01 ~]# vim /opt/yanqi/servers/flink-1.11.1/conf/zoo.cfg
~~~ 配置zk的主机信息
server.1=hadoop01:2888:3888
server.2=hadoop02:2888:3888
server.3=hadoop03:2888:3888
### --- 分发到其它两台主机上~~~ # 将Flink版本包发送到其它节点
[root@hadoop01 ~]# rsync-script /opt/yanqi/servers/flink-1.11.1/
### --- standalone模式启动~~~ # 在Hadoop01上启动Flink整个集群
[root@hadoop01 ~]# cd /opt/yanqi/servers/flink-1.11.1/bin/
[root@hadoop01 bin]# ./start-cluster.sh
~~~ 输出参数
Starting cluster.
Starting standalonesession daemon on host hadoop01.
Starting taskexecutor daemon on host hadoop01.
Starting taskexecutor daemon on host hadoop02.
Starting taskexecutor daemon on host hadoop03.
### --- jps进程查看核实[root@hadoop00 ~]# jps
~~~ 进程分布
Hadoop01 TaskManagerRunner
Hadoop01 StandaloneSessionClusterEntrypointHadoop02 TaskManagerRunnerHadoop03 TaskManagerRunner
### --- 通过web_UI访问Flink~~~ # 查看Flink的web页面: http://hadoop01:8081/
![](/assets/blank.gif)
### --- 修改配置文件:flink-conf.yaml~~~ # 修改配置文件任务槽
[root@hadoop01 ~]# vim /opt/yanqi/servers/flink-1.11.1/conf/flink-conf.yaml
taskmanager.numberOfTaskSlots: 2 # 每一个task当中任务槽的数量,默认是1个 ~~~ # 发送到其它节点
[root@hadoop01 ~]# rsync-script /opt/yanqi/servers/flink-1.11.1/conf/flink-conf.yaml
~~~ # 重启Flink服务[root@hadoop01 ~]# /opt/yanqi/servers/flink-1.11.1/bin/stop-cluster.sh
[root@hadoop01 ~]# /opt/yanqi/servers/flink-1.11.1/bin/start-cluster.sh
![](/assets/blank.gif)
![](/assets/blank.gif)
CC00012.flink——|HadoopFlink.V03|——|Flink.v03|安装部署|StandAlone模式部署|相关推荐
- SS00004.flink——|HadoopFlink计算领域锋利的武器.v04|——|Flink.v01|StandAlone模式部署|
一.Flink安装和部署 ### --- Flink支持多种安装模式~~~ local(本地):单机模式,一般本地开发调试使用 ~~~ StandAlone 独立模式:Flink自带集群,自己管理资源 ...
- Spark学习之standalone模式部署实战
Standalone模式部署实战 spark有好几种运行模式,本次我们来挑一种standalone模式来操作一下,就是spark独自包揽除了存储文件操作之外的所有操作,包括集群管理,任务调度,程序计算 ...
- Spark 部署 Standalone 模式
Spark 部署 Standalone 模式 解压缩文件 修改配置文件 启动集群 Web UI 界面 提交应用 提交参数说明 配置历史服务 配置日志存储路径 添加日志配置 重启动 Hadoop 集群 ...
- flink Standalone模式部署
部署前环境准备(基本的环境变量配置这里就不赘述了) jdk8和flink-1.14.0-bin-scala_2.12我这里准备了四台服务器,分别为node100~node103将安装包上传至各个服务器 ...
- Flink部署——Standalone模式
3.1 Standalone模式 Flink 中每一个 TaskManager 都是一个JVM进程,它可能会在独立的线程上执行一个或多个 subtask 为了控制一个 TaskManager 能接收多 ...
- Spark On K8S(Standalone模式部署)
Spark on K8S 的几种模式 Standalone:在 K8S 启动一个长期运行的集群,所有 Job 都通过 spark-submit 向这个集群提交 Kubernetes Native:通过 ...
- Spark的安装(Standalone模式,高可用模式,基于Yarn模式)
目录 spark的Standalone模式安装 一.安装流程 1.将spark-2.2.0-bin-hadoop2.7.tgz 上传到 /usr/local/spark/ 下,然后解压 2.进入到c ...
- Spark2.2.0分布式集群安装(StandAlone模式)
一.依赖文件安装 1.1 JDK 参见博文:http://www.cnblogs.com/liugh/p/6623530.html 1.2 Scala 参见博文:http://www.cnblogs. ...
- flink集群standalone模式安装
Flink完全分布式集群安装 - 知乎 Flink安装及使用 - Ruthless - 博客园 flink基本原理 - 阿凡卢 - 博客园Apache Flink1.13.x HA集群部署_willb ...
最新文章
- JS设计模式(13)状态模式
- python精彩编程200例百度_Python趣味编程与精彩实例
- 创新课程管理系统数据库设计心得
- Nginx 常见问题解决
- Wi-Fi 协议和数率?
- 图文详解linux/windows mysql忘记root密码解决方案
- 吐血整理!12种通用知识图谱项目简介
- 《如何搭建小微企业风控模型》第一节 小微企业数据贷发展情况概述
- JD_Source Code for problem 1581
- 智能配电房综合环境监控系统
- dell笔记本电脑驱动_2020年最佳笔记本电脑top榜
- 腾讯金融级数据库TDSQL的架构与应用
- JAVA Applet——绘制心形曲线
- 企业级服务器硬盘和,企业级硬盘与nas硬盘区别是什么,性能哪个好
- 莫纳什大学计算机专业研究生在哪个校区,盘点莫纳什大学2019年计算机类硕士课程...
- java大数据开发是做什么的
- ArcGIS 地图切图系列之(一)切片原理解析
- cubemax设置中断优先级
- springboot+神奇桔乡旅游信息系统 毕业设计-附源码191750
- 西北农林科技大学计算机类到底咋样,为了去读985,西北农林科技大学值得选择吗?...