一、Flink安装和部署
### --- Flink支持多种安装模式~~~     local(本地):单机模式,一般本地开发调试使用
~~~     StandAlone 独立模式:Flink自带集群,自己管理资源调度,生产环境也会有所应用
~~~     Yarn模式:计算资源统一由Hadoop YARN管理,生产环境应用较多

二、环境准备工作
### --- 基础环境~~~     # jdk1.8及以上【配置JAVA_HOME环境变量】
~~~     # ssh免密码登录【集群内节点之间免密登录】
[root@hadoop01 ~]# java -version
java version "1.8.0_231"[root@hadoop01 ~]# cat .ssh/authorized_keys
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDf1rEa6F/zlreckTPEmVW4gHVi8Q6KUkQH6fN95EiqiEXvoudntlPjq5mdT6VQupuDCJMIbe6pMG276Rn7uDWrY9NZC3uIx3V8PwWbm+mSPJS9uxVYLPxTo4bd8HQrZ5VKsh2NMr+CnVq5Kz5at8z4X3QleeJjCwxbAKHyl4iMsgOTF1/6geNm+0mQiNSvdMDDvmr1wvEtfGMBwKxpCs5QYUuA0ty8nvCQXvoe7AUu3NGNeg494V78uh5gtR+0mB+xbCyVZd61XI0nooPWKpgHyAcsb/mxl8DSDJ2HoZVUWc1D/+KavvOUawAzA7B+/SGjtbRc1RHOMpEmNph6Jk4F root@hadoop01
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCfPLjiMFvSWUIDHGybv58EFwpHC6+wg5/kvBy+86pgvzjFTIV4FN4Rr1gTsaV+38YfvXOt+zAD+DAcZPhgzXjhoii32g4s23Bvwdbru2trb/G0pXBM9rnDZ8i/Q2XQN3DPCIzJ3Vk45ab9dMarj1NvMyMt+3pHgut5QtCFlNG1nJVYZuyKPYnYo9LyPxqIdcL9KrJ/y/a8zUdhbm5OUST0WEFx3bRiP4yTjtX6G4s/NM6ajlgmADCB2VzxSYNYsIL0Y2k1YKqLcIluH8kjCPekmRkhnDduEm5DjuaPjuVoEMNQMzV1qbQUhA4l8PUsL9gF1s08culbqdMfYnOqyxJx root@hadoop02
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDNSwd/9bKDf4AL01SJ5elFAAd+MMzE/O9YfWrgpas/iAUCadKEPLeaoUF2x23Pn87F5sGk7vssyNjYQPgFxXVJcSc2CI/0s3xKjo/Yi8hGhc4SvCqZawQVFaMd+raE5jzbDNQF/B2n0qrBTt3Wnnz5YDKcw0+cYe7vwUVlshVM5+vdhjuSDMA7FROjGIdjxfxWG7hXcJEmlRHR4TEq9oNSl5xSpblspROIzqfRnNYqplJmkML+AsVOtJfOGFCO/197o4YX79MFyYXBF9rk3Ycklp06dkbI/BB1v+9Du2DGGkiCFmRvmUG/qD0HWLFAoE808JonNoDdICXz6yqeUXzT root@hadoop03

### --- 安装包下载~~~     下载地址:https://archive.apache.org/dist/flink/flink-1.11.1/

# --- 下载Flink版本包:[root@hadoop01 ~]# wget https://archive.apache.org/dist/flink/flink-1.11.1/flink-1.11.1-bin-scala_2.12.tgz

三、集群规划
Hadoop01 Hadoop02 Hadoop03
JobManager+TaskManager TaskManager TaskManager
一、StandAlone模式部署

### --- 下载版本包并解压到目标文件夹~~~     # 下载版本包并解压
[root@hadoop01 ~]# ls /opt/yanqi/software/flink-1.11.1-bin-scala_2.12.tgz
/opt/yanqi/software/flink-1.11.1-bin-scala_2.12.tgz

~~~     # 解压版本包[root@hadoop01 ~]# cd /opt/yanqi/software/
[root@hadoop01 software]# tar -zxvf flink-1.11.1-bin-scala_2.12.tgz \
-C ../servers/

### --- 修改配置文件:flink-conf.yaml~~~     # 修改配置文件
[root@hadoop01 ~]# vim /opt/yanqi/servers/flink-1.11.1/conf/flink-conf.yamljobmanager.rpc.address: hadoop01            # 设置rpc通信地址设置为hadoop01;flink集群中master地址
taskmanager.numberOfTaskSlots: 1            # 每一个task当中任务槽的数量,默认是1个
parallelism.default: 1                      # Flink任务中的并行度

### --- 修改配置文件:master[root@hadoop01 ~]# vim /opt/yanqi/servers/flink-1.11.1/conf/masters
hadoop01:8081                               # 设置master主机地址

### --- 修改配置文件:worker[root@hadoop01 ~]# vim /opt/yanqi/servers/flink-1.11.1/conf/workers
hadoop01
hadoop02
hadoop03

### --- 修改配置文件:zoo.cnf~~~     # zoo.cnf:Flink集群的机制是依赖zookeeper的
[root@hadoop01 ~]# vim /opt/yanqi/servers/flink-1.11.1/conf/zoo.cfg
~~~ 配置zk的主机信息
server.1=hadoop01:2888:3888
server.2=hadoop02:2888:3888
server.3=hadoop03:2888:3888

二、分发版本包并启动服务
### --- 分发到其它两台主机上~~~     # 将Flink版本包发送到其它节点
[root@hadoop01 ~]# rsync-script /opt/yanqi/servers/flink-1.11.1/

### --- standalone模式启动~~~     # 在Hadoop01上启动Flink整个集群
[root@hadoop01 ~]# cd /opt/yanqi/servers/flink-1.11.1/bin/
[root@hadoop01 bin]# ./start-cluster.sh
~~~ 输出参数
Starting cluster.
Starting standalonesession daemon on host hadoop01.
Starting taskexecutor daemon on host hadoop01.
Starting taskexecutor daemon on host hadoop02.
Starting taskexecutor daemon on host hadoop03.

### --- jps进程查看核实[root@hadoop00 ~]# jps
~~~ 进程分布
Hadoop01    TaskManagerRunner
Hadoop01    StandaloneSessionClusterEntrypointHadoop02    TaskManagerRunnerHadoop03    TaskManagerRunner

三、通过web_UI访问Flink
### --- 通过web_UI访问Flink~~~     # 查看Flink的web页面: http://hadoop01:8081/

四、修改任务槽,查看UI展示界面

### --- 修改配置文件:flink-conf.yaml~~~     # 修改配置文件任务槽
[root@hadoop01 ~]# vim /opt/yanqi/servers/flink-1.11.1/conf/flink-conf.yaml
taskmanager.numberOfTaskSlots: 2          # 每一个task当中任务槽的数量,默认是1个 ~~~     # 发送到其它节点
[root@hadoop01 ~]# rsync-script /opt/yanqi/servers/flink-1.11.1/conf/flink-conf.yaml

~~~     # 重启Flink服务[root@hadoop01 ~]# /opt/yanqi/servers/flink-1.11.1/bin/stop-cluster.sh
[root@hadoop01 ~]# /opt/yanqi/servers/flink-1.11.1/bin/start-cluster.sh

五、查看Flink的web页面: http://hadoop01:8081/

CC00012.flink——|HadoopFlink.V03|——|Flink.v03|安装部署|StandAlone模式部署|相关推荐

  1. SS00004.flink——|HadoopFlink计算领域锋利的武器.v04|——|Flink.v01|StandAlone模式部署|

    一.Flink安装和部署 ### --- Flink支持多种安装模式~~~ local(本地):单机模式,一般本地开发调试使用 ~~~ StandAlone 独立模式:Flink自带集群,自己管理资源 ...

  2. Spark学习之standalone模式部署实战

    Standalone模式部署实战 spark有好几种运行模式,本次我们来挑一种standalone模式来操作一下,就是spark独自包揽除了存储文件操作之外的所有操作,包括集群管理,任务调度,程序计算 ...

  3. Spark 部署 Standalone 模式

    Spark 部署 Standalone 模式 解压缩文件 修改配置文件 启动集群 Web UI 界面 提交应用 提交参数说明 配置历史服务 配置日志存储路径 添加日志配置 重启动 Hadoop 集群 ...

  4. flink Standalone模式部署

    部署前环境准备(基本的环境变量配置这里就不赘述了) jdk8和flink-1.14.0-bin-scala_2.12我这里准备了四台服务器,分别为node100~node103将安装包上传至各个服务器 ...

  5. Flink部署——Standalone模式

    3.1 Standalone模式 Flink 中每一个 TaskManager 都是一个JVM进程,它可能会在独立的线程上执行一个或多个 subtask 为了控制一个 TaskManager 能接收多 ...

  6. Spark On K8S(Standalone模式部署)

    Spark on K8S 的几种模式 Standalone:在 K8S 启动一个长期运行的集群,所有 Job 都通过 spark-submit 向这个集群提交 Kubernetes Native:通过 ...

  7. Spark的安装(Standalone模式,高可用模式,基于Yarn模式)

    目录 spark的Standalone模式安装 一.安装流程 1.将spark-2.2.0-bin-hadoop2.7.tgz  上传到 /usr/local/spark/ 下,然后解压 2.进入到c ...

  8. Spark2.2.0分布式集群安装(StandAlone模式)

    一.依赖文件安装 1.1 JDK 参见博文:http://www.cnblogs.com/liugh/p/6623530.html 1.2 Scala 参见博文:http://www.cnblogs. ...

  9. flink集群standalone模式安装

    Flink完全分布式集群安装 - 知乎 Flink安装及使用 - Ruthless - 博客园 flink基本原理 - 阿凡卢 - 博客园Apache Flink1.13.x HA集群部署_willb ...

最新文章

  1. JS设计模式(13)状态模式
  2. python精彩编程200例百度_Python趣味编程与精彩实例
  3. 创新课程管理系统数据库设计心得
  4. Nginx 常见问题解决
  5. Wi-Fi 协议和数率?
  6. 图文详解linux/windows mysql忘记root密码解决方案
  7. 吐血整理!12种通用知识图谱项目简介
  8. 《如何搭建小微企业风控模型》第一节 小微企业数据贷发展情况概述
  9. JD_Source Code for problem 1581
  10. 智能配电房综合环境监控系统
  11. dell笔记本电脑驱动_2020年最佳笔记本电脑top榜
  12. 腾讯金融级数据库TDSQL的架构与应用
  13. JAVA Applet——绘制心形曲线
  14. 企业级服务器硬盘和,企业级硬盘与nas硬盘区别是什么,性能哪个好
  15. 莫纳什大学计算机专业研究生在哪个校区,盘点莫纳什大学2019年计算机类硕士课程...
  16. java大数据开发是做什么的
  17. ArcGIS 地图切图系列之(一)切片原理解析
  18. cubemax设置中断优先级
  19. springboot+神奇桔乡旅游信息系统 毕业设计-附源码191750
  20. 西北农林科技大学计算机类到底咋样,为了去读985,西北农林科技大学值得选择吗?...

热门文章

  1. 华镭操作系统桌面版 RAYS LX
  2. 深夜产房:车祸后幸存的新生儿,听了一段音频后笑了,妈妈却哭了
  3. SpringBoot ES 查询空字段
  4. pipenv的安装和使用
  5. 如何运用JAXB定时读取解析xml文件?
  6. Python绘制正二十面体
  7. 统计正数和负数的个数然后计算这些数的平均值_描述性统计分析
  8. 苹果8p电池多少毫安的_18650锂电池容量最大多少毫安
  9. uniapp打包微信小程序识别二维码
  10. 2017元旦电影分享