java flink项目_IDEA上运行Flink任务的实战教程
欢迎访问我的GitHub
内容:所有原创文章分类汇总及配套源码,涉及Java、Docker、Kubernetes、DevOPS等;
IDEA是常用的IDE,我们编写的flink任务代码如果能直接在IDEA运行,会给学习和开发带来很大便利,例如改完代码立即运行不用部署、断点、单步调试等;
环境信息
电脑:2019版13寸MacBook Pro,2.3 GHz 四核Intel Core i5,8 GB 2133 MHz LPDDR3
操作系统:macOS Catalina 10.15.3
JDK:1.8.0_211
Maven:3.6.0
IDEA:2018.3.5 (Ultimate Edition)
Flink版本:1.9.2
关于正版IDEA
开发
首先确保您电脑上maven已装好;
创建一个flink任务的maven工程,找个干净目录执行以下命令:
mvn \
archetype:generate \
-DarchetypeGroupId=org.apache.flink \
-DarchetypeArtifactId=flink-quickstart-java \
-DarchetypeVersion=1.9.2
按提示输入groupId、artifactId、version、package等内容:
4. 现在maven工程已生成,用IDEA导入这个工程,如下图:
5. 以maven的类型导入:
6. 导入成功后的样子:
8. 现在的代码已经能运行,但flink网页却还不能访问,会显示以下错误信息,需要继续做些设置:
9. 下载flink-1.9.2安装包,这里面有flink网页服务用到的一个jar,地址是:https://www-eu.apache.org/dist/flink/flink-1.9.2/flink-1.9.2-bin-scala_2.11.tgz
10. flink-1.9.2-bin-scala_2.11.tgz下载后解压,在lib目录下有个flink-dist_2.11-1.9.2.jar文件,记住此文件的位置,稍后会用到;
11. 回到IDEA,在项目上点击右键,点击菜单Open Module Settings:
12. 在弹出的窗口做如下操作,目的是给项目中增加jar:
13. 弹出选择文件的窗口,请选择刚才准备好的文件flink-dist_2.11-1.9.2.jar:
14. 设置工作已经完成,由于StreamingJob的工作是读取本机18081端口的数据,所以我们要把18081端口的服务启动起来,不然StreamingJob运行时是连不上端口的,打开一个控制台,执行命令:nc -l 18081
15. 现在可以将StreamingJob运行起来,如下图,右键点击StreamingJob,选择Run 'StreamingJob.main()':即可启动flink任务,如果想打断点调试,请选择Debug 'StreamingJob.main()'
16. 回到刚才执行nc命令的控制台,输入一些字符串,例如"aaa bbb aaa",然后回车;
17. 再回到IDEA,可见StreamingJob已经从18081端口读到了数据并且输出了统计结果:
18. 在IDEA的控制台搜索关键字localhost,如下图红框,可以查到flink网页的端口,我这里是62641:
19. 浏览器访问http://localhost:62641,如下图,可见flink网页已经正常显示,正在运行的任务也能看到:
至此,最简单的IDEA运行flink任务的实战就完成了,如果您也在学习flink,希望本文能给您一些参考;
到此这篇关于IDEA上运行Flink任务的文章就介绍到这了,更多相关IDEA上运行Flink任务内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!
java flink项目_IDEA上运行Flink任务的实战教程相关推荐
- eclipse neon_在自定义Java 9映像上运行Eclipse Neon
eclipse neon 我已经开始修改自定义Java二进制运行时映像文件. 映像文件是打包为运行时平台的模块的配置. 基本上,默认映像包含组成Java运行时的所有内容. 自定义图像可以包含该图像的一 ...
- 在自定义Java 9映像上运行Eclipse Neon
我已经开始修改自定义Java二进制运行时映像文件. 映像文件是打包为运行时平台的模块的配置. 基本上,默认映像包含组成Java运行时的所有内容. 自定义图像可以包含该图像的一些子集. 例如,我创建了一 ...
- Java毕设项目线上教学平台(java+VUE+Mybatis+Maven+Mysql)
Java毕设项目线上教学平台(java+VUE+Mybatis+Maven+Mysql) 项目运行 环境配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webst ...
- Java毕设项目线上甜品店售卖系统(java+VUE+Mybatis+Maven+Mysql)
Java毕设项目线上甜品店售卖系统(java+VUE+Mybatis+Maven+Mysql) 项目运行 环境配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(We ...
- Flink学习笔记03:将项目打包提交到Flink集群上运行(Java版)
文章目录 一.创建Maven项目 - WordCount 三.利用mvn命令打包Maven项目 三.上传项目jar包到Flink集群主节点 四.启动Flink Standalone集群 五.将应用提交 ...
- Flink学习笔记04:将项目打包提交到Flink集群上运行(Scala版)
文章目录 一.创建Maven项目 - ScalaWordCount 三.利用mvn命令打包Maven项目 三.上传项目jar包到Flink集群主节点 四.启动Flink Standalone集群 五. ...
- mysql怎么生成可执行文件_查询mysql数据库的java程序在myeclipse上运行正常,但生成可执行文件后查询不出结果。问题出在哪儿呢?...
展开全部 你所说的可执行文件,就是jar包吗?e69da5e6ba903231313335323631343130323136353331333337613164 自己生成的jar文件,执行需要指明所 ...
- 【arduino】在Arduino上运行FreeRTOS操作系统,freeRTOS入门教程helloword
关注.星标公众号,不错过精彩内容 编辑:Tony 来源:公众号TonyCode 我们从一开始接触Arduino编程就知道,Arduino程序结构由setup()和loop()两部分组成,我们需要反复执 ...
- Java物联网项目中,运行SPringBoot脚手架,运行失败问题
项目场景: 提示:这里简述项目相关背景: 例如:项目场景:IDEA运行SPringBoot脚手架--用小威脚手架学习时,运行代码出现错误提示,且不能正常运行 运行成功效果: 问题描述: 提示:这里描述 ...
最新文章
- spark编程基础--4.2在spark-shell中运行代码
- MySQL 触发器应用案例
- GetOverlappedResult函数详细解答
- 正则表达式 php 模板,PHP中正则表达式回顾(4)--编写一个非常简单而且山寨的smarty模板引擎...
- 小红伞和NOD32基于源码的免杀经验总结
- android 蓝牙通知,android – 蓝牙低能耗通知
- 回归预测值预测区间_机器学习之线性回归概述
- axios get 跨域_axios网络交互应用-Vue
- Java实现密码学工具,集成了对称加密算法DES,AES,IDEA,公开加密算法RSA,ECC,散列算法MD5,SHA1,CRC32,以及RSA,DSA,ECDSA数字签名验证示例。
- Windows和Linux hosts 文件位置
- android 罗盘陀螺仪,电子罗盘和陀螺仪的区别以及工作原理介绍
- 龙芯 Linux usb,使用debirf制作龙芯2F的LiveUSB
- gfsk调制频谱_ASK,OOK,FSK,GFSK是什么
- 任务栏优化工具TrueLaunchBar
- 基于Canvas+React的高性能Table表格
- 0基础入行,新手该如何学习SEM
- 十进制和二进制换算。vb版本
- 游戏运营是什么?运营专员需要具备什么能力?
- python实现矩阵共轭和共轭转置
- unity使ui面向镜头_pihqcam面向相机的软件ui
热门文章
- 求离散数据的突变点_数据的离散程度分析1
- android开发仿原生联系人,android 仿IOS联系人列表
- 三菱plc字高八位和低八位_Switch好搭档,八位堂手柄上手体验
- u 去除index.php,ThinkPHP去除url中的index.php
- 两位小数乘两位小数竖式_冀教版五年级数学上册2.4小数乘小数微课视频 | 练习...
- pandas按照字典格式替换dataframe的值
- pandas dataframe随机采样
- linux内核启用64位除法,关于内核中的乘法和除法。
- idea swing 插件_【分享】我的idea配置
- python对比图片