Flink 1.3.2 Standalone模式安装

一、依赖文件安装

1.1 JDK

参见博文：http://www.cnblogs.com/liugh/p/6623530.html

二、文件准备

2.1 文件名称

flink-1.3.2-bin-hadoop27-scala_2.11.tgz

2.2 下载地址

http://flink.apache.org/downloads.html

三、工具准备

3.1 Xshell

一个强大的安全终端模拟软件，它支持SSH1, SSH2, 以及Microsoft Windows 平台的TELNET 协议。

Xshell 通过互联网到远程主机的安全连接以及它创新性的设计和特色帮助用户在复杂的网络环境中享受他们的工作。

3.2 Xftp

一个基于 MS windows 平台的功能强大的SFTP、FTP 文件传输软件。

使用了 Xftp 以后，MS windows 用户能安全地在UNIX/Linux 和 Windows PC 之间传输文件。

四、部署图

五、Flink安装

以下操作，均使用root用户

5.1 通过Xftp将下载下来的Flink安装文件上传到Master的/usr目录下

5.2 通过Xshell连接到虚拟机，在Master上，执行如下命令，解压文件：

# tar zxvf flink-1.3.2-bin-hadoop27-scala_2.11.tgz

5.3 在Master上，使用Vi编辑器，设置环境变量

# vi /etc/profile

在文件最后，添加如下内容：

#Flink Env
export FLINK_HOME=/usr/flink-1.3.2
export PATH=$PATH:$FLINK_HOME/bin

5.4 退出vi编辑器，使环境变量设置立即生效

# source /etc/profile

通过scp命令，将/etc/profile拷贝到两个Slave节点：

#scp /etc/profile root@DEV-SH-MAP-02:/etc

#scp /etc/profile root@DEV-SH-MAP-03:/etc

分别在两个Salve节点上执行# source /etc/profile使其立即生效

六、Flink配置

以下操作均在Master节点，配置完后，使用scp命令，将所有文件拷贝到两个Worker节点即可。

切换到/usr/flink-1.3.2/conf目录下，修改如下文件：

6.1 flink-conf.yaml

#JobManager的地址

jobmanager.rpc.address: DEV-SH-MAP-01

#JobManager Java 堆大小

jobmanager.heap.mb: 1024

#TaskManager Java 堆大小

taskmanager.heap.mb: 1024

taskmanager.numberOfTaskSlots: 2

6.2 masters

这个文件中存放的信息是JobManager的HostName，使用vi编辑器，打开masters，在文件最后，添加如下内容：

DEV-SH-MAP-01:8081

6.3 slaves

这个文件中存放的信息是TaskManager的HostName，使用vi编辑器，打开slaves，在文件最后，添加如下内容：

DEV-SH-MAP-01
DEV-SH-MAP-02
DEV-SH-MAP-03

6.4 拷贝配置文件到两个Worker节点

在Master节点，执行如下命令：

# scp -r /usr/flink-1.3.2/ root@DEV-SH-MAP-02:/usr/

# scp -r /usr/flink-1.3.2/ root@DEV-SH-MAP-03:/usr/

七、Flink使用

7.1 启动

Master节点上，执行如下命令：

#start-cluster.sh

在Master节点上，使用jps命令，查看Java进程:

41361 JobManager
41724 TaskManager

在Worker节点上，使用jps命令，查看Java进程:

37723 TaskManager

7.3 通过浏览器查看Flink信息

浏览器中，输入http://10.10.0.1:8081

7.4 停止节点

#stop-cluster.sh

转载于:https://www.cnblogs.com/liugh/p/7446295.html

Flink 1.3.2 Standalone模式安装相关推荐

standalone 模式安装
spark-1.6.0-cdh5.15.0 standalone 模式安装更多资源 github: https://github.com/opensourceteams/spark-scala-ma ...
flink集群standalone模式安装
Flink完全分布式集群安装 - 知乎 Flink安装及使用 - Ruthless - 博客园 flink基本原理 - 阿凡卢 - 博客园Apache Flink1.13.x HA集群部署_willb ...
Spark的安装（Standalone模式，高可用模式，基于Yarn模式）
目录 spark的Standalone模式安装一.安装流程 1.将spark-2.2.0-bin-hadoop2.7.tgz 上传到 /usr/local/spark/ 下,然后解压 2.进入到c ...
流批一体计算引擎-3-[Flink]的本地模式Local和standalone模式
flink-1.15.0在centos7上安装(Local模式安装) 目前开源大数据计算引擎有很多的选择,比如流处理有Storm.Samza.Flink.Spark等,批处理有Spark.Hive.P ...
【原】Spark Standalone模式
Spark Standalone模式安装Spark Standalone集群手动启动集群集群创建脚本提交应用到集群创建Spark应用资源调度及分配监控与日志与Hadoop共存配置网络 ...
HBase【付诸实践 01】hbase shell 常用命令详解（表操作+数据增删改查+2种查询操作）（hbase-2.4.5 单机版standalone模式）
1.运行环境 HBase的安装文件为:hbase-2.4.5-bin.tar.gz 相关配置信息可以查看<HBase-2.4.5 单机版standalone模式安装配置> 其他环境如下: ...
CC00012.flink——|HadoopFlink.V03|——|Flink.v03|安装部署|StandAlone模式部署|
一.Flink安装和部署 ### --- Flink支持多种安装模式~~~ local(本地):单机模式,一般本地开发调试使用 ~~~ StandAlone 独立模式:Flink自带集群,自己管理资源 ...
Flink三种运行模式安装部署
环境 Flink 1.8.2 jdk 1.8 hadoop 2.8.5 Local模式在Local模式下仅模拟cluster集群,仅启动JobManager完成应用的运行.JobManager进程信 ...
SS00004.flink——|HadoopFlink计算领域锋利的武器.v04|——|Flink.v01|StandAlone模式部署|
一.Flink安装和部署 ### --- Flink支持多种安装模式~~~ local(本地):单机模式,一般本地开发调试使用 ~~~ StandAlone 独立模式:Flink自带集群,自己管理资源 ...

Flink 1.3.2 Standalone模式安装

Flink 1.3.2 Standalone模式安装相关推荐

最新文章

热门文章