Apache Flink 简单安装

　　流计算这两年很火了，可能对数据的实时性要求高。现在用的hadoop框架，对流计算的支持，主要还是微批（spark），也不支持“Exactly Once”语义（可以使用外接的数据库解决），公司项目可能会用所以就下载了个Flink试试。

1. 下载解压　　　　

　　打开官网：https://flink.apache.org/， “DOWNLOAD”，下载对应 hadoop 和scala 版本。Flink以来JDK和HADOOP，提前下载。

[root@spring software]#  wget http://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.7.1/flink-1.7.1-bin-hadoop27-scala_2.12.tgz
[root@spring software]# tar -zxvf flink-1.7.1-bin-hadoop27-scala_2.12.tgz
[root@spring software]# ll
total 454720
drwxrwxrwx  9 venn venn       141 Dec 15 09:17 flink-1.7.1
-rw-r--r--  1 root root 284258911 Dec 16 18:30 flink-1.7.1-bin-hadoop27-scala_2.12.tgz
drwxr-xr-x. 8   10  143       255 Apr  1  2016 jdk1.8
-rw-r--r--. 1 root root 181367942 Dec 28 17:54 jdk-8u91-linux-x64.tar.gz

2. 配置

　　官网教程：　https://ci.apache.org/projects/flink/flink-docs-release-1.7/tutorials/local_setup.html

在bin/config.sh 是Flink 的配置文件，但是不需要配置，只需要有配置JAVA_HOME, HADOOP_HOME ( 或者HADOOP_CONF_DIR)

    export JAVA_HOME=/opt/software/jdk1.8export CLASSPATH=.:$JAVA_HOME/libexport PATH=$JAVA_HOME/bin:$PATHexport HADOOP_HOME=/etc/hadoopexport HADOOP_CONF_DIR=/etc/hadoop/conf[root@spring bin]# source /etc/profile
[root@spring bin]# echo $HADOOP_CONF_DIR
/etc/hadoop/conf
[root@spring bin]# echo $HADOOP_HOME
/etc/hadoop
[root@spring bin]# echo $JAVA_HOME
/opt/software/jdk1.8

config.sh

KEY_ENV_JAVA_HOME="env.java.home"  # java使用环境变量# Check if deprecated HADOOP_HOME is set, and specify config path to HADOOP_CONF_DIR if it's empty.  # 读取环境变量 HADOOP_HOME HADOOP_CONF_DIR
if [ -z "$HADOOP_CONF_DIR" ]; thenif [ -n "$HADOOP_HOME" ]; then# HADOOP_HOME is set. Check if its a Hadoop 1.x or 2.x HADOOP_HOME pathif [ -d "$HADOOP_HOME/conf" ]; then# its a Hadoop 1.xHADOOP_CONF_DIR="$HADOOP_HOME/conf"fiif [ -d "$HADOOP_HOME/etc/hadoop" ]; then# Its Hadoop 2.2+HADOOP_CONF_DIR="$HADOOP_HOME/etc/hadoop"fifi
fi# try and set HADOOP_CONF_DIR to some common default if it's not set
if [ -z "$HADOOP_CONF_DIR" ]; thenif [ -d "/etc/hadoop/conf" ]; thenecho "Setting HADOOP_CONF_DIR=/etc/hadoop/conf because no HADOOP_CONF_DIR was set."HADOOP_CONF_DIR="/etc/hadoop/conf"fi
fi

4. 流计算demo wordcount

使用nc 模拟输入流,输入数据

[root@spring log]# nc -l 9000
1
2
3
4
5
...

启动wordcount demo

[root@spring flink-1.7.1]# ./bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000
Starting execution of program

nc输入继续输入数据。。。

"ctrl + C" 关闭nc，wordcount demo 随之关闭。

trewt
re
w
^C   # kill nc
[root@spring log]# # wordcount 完成
[root@spring flink-1.7.1]# ./bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000
Starting execution of program
Program execution finished
Job with JobID b1e67fe09658ebe57fac2c2f7ef11916 has finished.
Job Runtime: 36016 ms

查看统计结果：

[root@spring flink-1.7.1]# more -f log/flink-root-taskexecutor-2-spring.hadoop.out  # 第一次执行是 0
1 : 1
qq : 1: 1
tyr : 1
tre : 1
o : 2
i : 2
u : 2
y : 2
t : 2
r : 3
e : 1
w : 1
q : 4
0 : 1
9 : 1
8 : 1
7 : 1
6 : 1
5 : 1
4 : 1
3 : 1
2 : 1
rew : 1
432 : 1
4321 : 1
423 : 1
trew : 1
fds : 1
4 : 5
其 : 1
rfd : 1
其q : 1
fdsgfd : 1
trewtg : 1
raq : 1
dfs : 1
eh : 1
r : 1
wyht : 1
re : 1
rds : 2
g : 4
fgrd : 1
ygtre : 1
fretg : 1
trewt : 1
erw : 1
wtg : 1
gre : 1
ds : 1
fv : 1: 1
gfr : 1
t : 1
ghrw : 1
s : 1
gvdf : 1
d : 1
wg : 1
er : 1
wt : 1
re : 3
rewt : 1
redwg : 1

查看管理控制台

本文所有内容来自官网教程，本地执行，https://ci.apache.org/projects/flink/flink-docs-release-1.7/tutorials/local_setup.html

搞定

转载于:https://www.cnblogs.com/Springmoon-venn/p/10248736.html

Apache Flink 简单安装相关推荐

Apache Flink 零基础入门（三）编写最简单的helloWorld
实验环境 JDK 1.8 IDE Intellij idea Flink 1.8.1 实验内容创建一个Flink简单Demo,可以从流数据中统计单词个数. 实验步骤首先创建一个maven项目,其中 ...
官宣｜Apache Flink 1.13.0 正式发布，流处理应用更加简单高效！
简介:Flink 1.13.0 版本让流处理应用的使用像普通应用一样简单和自然,并且让用户可以更好地理解流作业的性能. 翻译 | 高赟 Review | 朱翥.马国维 GitHub 地址 https ...
【Flink】Apache Flink 1.13.0 正式发布，流处理应用更加简单高效
1.概述转载:Apache Flink 1.13.0 正式发布,流处理应用更加简单高效侵权可删,这里是做个笔记,防止找不到. Flink 1.13 发布了!Flink 1.13 包括了超过 200 ...
5分钟从零构建第一个 Apache Flink 应用
为什么80%的码农都做不了架构师?>>> 在本文中,我们将从零开始,教您如何构建第一个Apache Flink (以下简称Flink)应用程序. 开发环境准备 Flink 可以 ...
Apache Flink和Kafka入门
介绍 Apache Flink是用于分布式流和批处理数据处理的开源平台. Flink是具有多个API的流数据流引擎,用于创建面向数据流的应用程序. Flink应用程序通常使用Apache Kafka进 ...
如何在 Apache Flink 中使用 Python API？
本文根据 Apache Flink 系列直播课程整理而成,由 Apache Flink PMC,阿里巴巴高级技术专家孙金城分享.重点为大家介绍 Flink Python API 的现状及未来规划, ...
官宣 | Apache Flink 1.12.0 正式发布，流批一体真正统一运行！
‍‍ 翻译 | 付典 Review | 徐榜江.朱翥 Apache Flink 社区很荣幸地宣布 Flink 1.12.0 版本正式发布!近 300 位贡献者参与了 Flink 1.12.0 的开发, ...
什么是Apache Flink
大数据计算引擎的发展这几年大数据的飞速发展,出现了很多热门的开源社区,其中著名的有 Hadoop.Storm,以及后来的 Spark,他们都有着各自专注的应用场景.Spark 掀开了内存计算的先河, ...
python flink_如何在 Apache Flink 中使用 Python API？
原标题:如何在 Apache Flink 中使用 Python API? 导读:本文重点为大家介绍 Flink Python API 的现状及未来规划,主要内容包括:Apache Flink Pyth ...

Apache Flink 简单安装

Apache Flink 简单安装相关推荐

最新文章

热门文章