flink集成springboot案例_集成-Apache Flink + Spring Boot
我正在测试Apache Flink和Spring Boot之间的集成,可以在IDE上运行它们,但是当我尝试在Apache Flink
Cluster上运行时,我遇到了一个与ClassLoader相关的异常。
这些类非常简单:
BootFlinkApplication
@SpringBootApplication
@ComponentScan("com.example.demo")
public class BootFlinkApplication {
public static void main(String[] args) {
System.out.println("some test");
SpringApplication.run(BootFlinkApplication.class, args);
}
}
FlinkTest
@Service
public class FlinkTest {
@PostConstruct
public void init() {
StreamExecutionEnvironment see = StreamExecutionEnvironment.getExecutionEnvironment();
see.fromElements(1, 2, 3, 4)
.filter(new RemoveNumber3Filter()).print();
try {
see.execute();
} catch (Exception e) {
System.out.println("Error executing flink job: " + e.getMessage());
}
}
}
RemoveNumber3Filter
public class RemoveNumber3Filter implements FilterFunction {
@Override
public boolean filter(Integer i) throws Exception {
return i != 3;
}
}
例外:
Caused by: org.apache.flink.runtime.client.JobExecutionException: Job execution failed.
at org.apache.flink.runtime.jobmanager.JobManager$$anonfun$handleMessage$1$$anonfun$applyOrElse$6.apply$mcV$sp(JobManager.scala:897)
at org.apache.flink.runtime.jobmanager.JobManager$$anonfun$handleMessage$1$$anonfun$applyOrElse$6.apply(JobManager.scala:840)
at org.apache.flink.runtime.jobmanager.JobManager$$anonfun$handleMessage$1$$anonfun$applyOrElse$6.apply(JobManager.scala:840)
at scala.concurrent.impl.Future$PromiseCompletingRunnable.liftedTree1$1(Future.scala:24)
at scala.concurrent.impl.Future$PromiseCompletingRunnable.run(Future.scala:24)
at akka.dispatch.TaskInvocation.run(AbstractDispatcher.scala:39)
at akka.dispatch.ForkJoinExecutorConfigurator$AkkaForkJoinTask.exec(AbstractDispatcher.scala:415)
at scala.concurrent.forkjoin.ForkJoinTask.doExec(ForkJoinTask.java:260)
at scala.concurrent.forkjoin.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:1339)
at scala.concurrent.forkjoin.ForkJoinPool.runWorker(ForkJoinPool.java:1979)
at scala.concurrent.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107)
Caused by: org.apache.flink.streaming.runtime.tasks.StreamTaskException: Cannot load user class: com.example.demo.RemoveNumber3Filter
ClassLoader info: URL ClassLoader:
file: '/tmp/blobStore-850f3189-807e-4f8d-a8a6-3bd3c1bd76b4/job_eb93b239080b4d4e09f10f1e3605744d/blob_p-5fd56f3348976c0d333d680fde4a79573c21cd40-48ac0995eee11f38ce3ff4f890102af8' (valid JAR)
Class not resolvable through given classloader.
at org.apache.flink.streaming.api.graph.StreamConfig.getStreamOperator(StreamConfig.java:232)
at org.apache.flink.streaming.runtime.tasks.OperatorChain.createChainedOperator(OperatorChain.java:355)
at org.apache.flink.streaming.runtime.tasks.OperatorChain.createOutputCollector(OperatorChain.java:282)
at org.apache.flink.streaming.runtime.tasks.OperatorChain.(OperatorChain.java:126)
at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:231)
at org.apache.flink.runtime.taskmanager.Task.run(Task.java:718)
at java.lang.Thread.run(Thread.java:748)
flink集成springboot案例_集成-Apache Flink + Spring Boot相关推荐
- springboot 分层_限量!阿里Spring Boot成长笔记终开源!理论实战满满
前言 随着微服务理念的盛行,微框架的概念也随之诞生,而其中最耀眼的,当属SpringBoot.虽然之前Dropwizard是公认的最早的微框架,但SpringBoot"青出于蓝而胜于蓝&qu ...
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink批处理API详解与编程实战025--DateSet实用API详解025
一.Flink DateSet定制API详解(JAVA版) -002 flatMap 以element为粒度,对element进行1:n的转化. 执行程序: package code.book.bat ...
- SpringBoot进击 | 一浅出:Spring Boot简单快速上手书
为了后继的 Spring Cloud 学习和进阶,我们需要先行了解 Spring Boot. 1.前言 1.1 认识 Spring Boot Spring Boot 是由 Pivotal 团队提供的全 ...
- Apache Camel,Spring Boot 实现文件复制,转移 (转)
基本框架 Apache Camel Spring Boot Maven 开发过程 1.新建一个POM(quickstart)项目,在POM文件中添加Camel和Spring Boot的依赖 <p ...
- flink集成springboot案例_Flink从流处理到流批一体的19个最佳实践
近年来,随着实时化需求的场景日益增多,企业已不满足于简单使用流计算或批计算进行数据处理,采用一套引擎即可实现低延迟.高吞吐.高稳定的强大性能逐渐成为更多企业的追求.Apache Flink 作为领先的 ...
- flink开发案例_为什么说 Flink + AI 值得期待?
作者:秦江杰 去年 11 月的 Flink Forward Asia 2019(以下简称 FFA) 上 Flink 社区提出了未来发展的几个主要方向,其中之一就是拥抱 AI [1].实际上,近年来 A ...
- 集成springboot案例_SpringBoot开发者都在用的五款优质扩展,每个都很能打!
1.spring-boot-pay Spring Boot 的支付服务:支付宝,微信,银联详细代码案例. 项目地址:https://gitee.com/52itstyle/spring-boot-pa ...
- selenium持续集成_使用Selenium进行Spring Boot集成测试
selenium持续集成 Web集成测试允许对Spring Boot应用程序进行集成测试,而无需进行任何模拟. 通过使用@WebIntegrationTest和@SpringApplicationCo ...
- 【Flink】IncompatibleClassChangeError: Found class org.apache.flink.streaming.runtime.tasks.Processing
1.背景 测试Flink CEP,然后使用ProcessTime,然后报错如下 org.apache.flink.runt ime.client.JobExecut ionException: Job ...
- SpringBoot实战(十四):Spring Boot Admin 集成安全模块
强烈推荐一个大神的人工智能的教程:http://www.captainbed.net/zhanghan [前言] Spring Boot Admin做为生产级的监控工具,必然不能随便让人去操作以免误操 ...
最新文章
- javascript DOM innerHTML createElement createTextNode
- git commit -m 与 git commit -am的区别
- Linux下Bond技术怎样实现负载均衡的步骤
- overleaf文章管理
- swoole的process模块创建和使用子进程
- Android—屏幕适配和卡顿优化
- Beyond Compare 怎么新增与卸载文件格式
- scala Iterator类型入门初探
- Hololens开发常见错误
- 数据库在一对一、一对多、多对多怎么设计表关系
- Excel转shape file
- linux检测路径是否存在,不存在则创建指定路径
- Unity 源码研究 获取颜色面板ColorPicker键值信息
- CSP模测(一)A卷
- 使用 ROT13 算法加密解密数据
- 图可视化工具Gephi使用教程
- 【动手学深度学习PyTorch版】6 权重衰退
- MySQL数据库CPU飙升到100%解决方案
- Sqli-labs~Less-1~Less-4
- 基于APS的供应链计划管理的类型阐述
热门文章
- 日记侠:你的文章为什么阅读量会那么高?
- unity 录屏插件总结 以及 AVProMovieCapture 5.0.0 安卓录制失败问题
- python复制上一行到下一行_eclipse复制当前行到下一行-eclipse复制-eclipse复制一行快捷键...
- BZOJ_P3110 [ZJOI2013]K大数查询(线段树+整体二分)
- 斯坦福大学自然语言处理第四课“语言模型(Language Modeling)”
- ​​Wipe Pro(电脑隐私清理软件)官方正式版V2218 | 怎么清除电脑个人隐私?
- C语言实现洗牌发牌程序,用C语言实现的扑克牌洗牌程序
- 《算法导论》 第28章 矩阵运算
- java instrument_JDK instrument 踩坑记录
- 基于Instrument技术实现Java类字节码插桩代理