搭建单机版环境

一安装环境

搭建一个单机版的运行环境
环境：Ubuntu 18

下载不带Hadoop组件的Flink程序包
这里按下载最新：Apache Flink 1.8.0 for Scala 2.11 (asc, sha512)
官网地址：https://flink.apache.org/downloads.html#apache-flink-180
解压运行

tar xzf flink-1.8.0-bin-scala_2.11.tgzcd flink-1.8.0/sudo ./bin/start-cluster.sh

启动完成后，打开localhost:8081可看到 WebUI

同时在log目录下，会生成对应日志
可通过这个查看
例如：tail log/flink-root-standalonesession-0-donald-pro.log

二运行 `SocketWindowWordCount` 程序

参考官网教程：https://ci.apache.org/projects/flink/flink-docs-release-1.8/tutorials/local_setup.html

（1）启动一个端口号为 9000 的 `Socket server`

nc -l 9000

Linux nc命令用于设置路由器。

命令相关可查看：http://www.runoob.com/linux/linux-comm-nc.html

（2）运行 `SocketWindowWordCount` 应用程序

sudo ./bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000

查看输出结果
tail -f log/flink-root-taskexecutor-0-donald-pro.out

SocketWindowWordCount 应用程序根据处理时间开滚动窗口，每秒计算一次窗口接收单词的次数

object SocketWindowWordCount {def main(args: Array[String]) : Unit = {// the port to connect toval port: Int = try {ParameterTool.fromArgs(args).getInt("port")} catch {case e: Exception => {System.err.println("No port specified. Please run 'SocketWindowWordCount --port <port>'")return}}// get the execution environmentval env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment// get input data by connecting to the socketval text = env.socketTextStream("localhost", port, '\n')// parse the data, group it, window it, and aggregate the countsval windowCounts = text.flatMap { w => w.split("\\s") }.map { w => WordWithCount(w, 1) }.keyBy("word").timeWindow(Time.seconds(5), Time.seconds(1)) // .sum("count")// print the results with a single thread, rather than in parallelwindowCounts.print().setParallelism(1)env.execute("Socket Window WordCount")}// Data type for words with countcase class WordWithCount(word: String, count: Long)
}

timeWindow 为开窗机制
如果应用程序的时间特征为事件时间，则开长度为5秒的事件时间窗口，否则开长度位1秒的处理时间窗口

（3）配置IDEA

使用Maven 从Flink官网下载应用程序工程模板

mvn archetype:generate \
-DarchetypeGroupId=org.apache.flink \
-DarchetypeArtifactId=flink-quickstart-scala \
-DarchetypeVersion=1.8.0 \
-DgroupId=com.deepmind.flink \
-DartifactId=QuickStart \
-Dversion="1.0-SNAPSHOT" \
-DinteractiveMode=false; # 设置为Batch模式

该工程有两个案例，分别为：

批处理应用程序 BatchJob
流处理应用程序 StreamingJob

【Flink】搭建单机环境相关推荐

Ubuntu 16.04 Spark单机环境搭建
说道大数据和机器学习,就少不了Spark.本文主要介绍在Linux下搭建单机环境的Spark的步骤. 安装Java SE 1.下载JAVA SE linux版本.下载地址为: http://www.o ...
MySQL数据库管理（二）单机环境下MySQL Cluster的安装
上文<MySQL数据库管理(一)MySQL Cluster集群简单介绍>对MySQL Cluster集群做了简要介绍.本文将教大家一步步搭建单机环境下的MySQL数据库集群. 一.单机环境 ...
HBase单机环境搭建
HBase单机环境搭建转自:https://songlee24.github.io/2015/07/20/hbase-standalone-mode/ 在搭建HBase单机环境之前,首先你要保证你已 ...
搭建kafaka_kafka单机环境搭建及其基本使用
最近在搞kettle整合kafka producer插件,于是自己搭建了一套单机的kafka环境,以便用于测试.现整理如下的笔记,发上来和大家分享.后续还会有kafka的研究笔记,依然会与大家分享! ...
SRS流媒体服务器——单机环境搭建和源码目录介绍
SRS流媒体服务器--单机环境搭建和源码目录介绍 1. 目录环境搭建源码目录介绍 1. 环境搭建 srs官⽹:https://github.com/ossrs/srs 码云的源速度快:https: ...
单机搭建kafka集群本地_Kafka单机环境搭建简记
最近在搞kettle整合kafka producer插件,于是自己搭建了一套单机的kafka环境,以便用于测试.现整理如下的笔记,发上来和大家分享.后续还会有kafka的研究笔记,依然会与大家分享! ...
hbase_学习_01_HBase环境搭建(单机)
一.前言本文承接上一篇:hadoop_学习_02_Hadoop环境搭建(单机) ,主要是搭建HBase的单机环境二.环境准备 1.说明 hbase 的下载来源有: 官方版本:http://arc ...
在Mac上使用idea搭建flink java开发环境
1.环境本文档记录的是使用flink的java API简单地创建应用的过程. 前置条件:需要安装Java.maven和flink. 1.1 Java环境变量 Java需要jdk.path.class ...
Linux系统 ELK(8.3.1)单机环境搭建
Linux系统下 ELK单机环境搭建,当前ELK版本8.3.1 安装前置,ELK环境需要使用非root用户运行 1.下载ELK包 2.解压安装 3.配置 1.配置启动Elasticsearch 2.配 ...

【Flink】搭建单机环境

搭建单机版环境

一安装环境

二运行 `SocketWindowWordCount` 程序

（1）启动一个端口号为 9000 的 `Socket server`

（2）运行 `SocketWindowWordCount` 应用程序

（3）配置IDEA

【Flink】搭建单机环境相关推荐

最新文章

热门文章

【Flink】搭建单机环境

搭建单机版环境

一 安装环境

二 运行 SocketWindowWordCount 程序

（1）启动一个端口号为 9000 的 Socket server

（2）运行 SocketWindowWordCount 应用程序

（3） 配置IDEA

【Flink】搭建单机环境相关推荐

最新文章

热门文章

一安装环境

二运行 `SocketWindowWordCount` 程序

（1）启动一个端口号为 9000 的 `Socket server`

（2）运行 `SocketWindowWordCount` 应用程序

（3）配置IDEA