Flink升级到1.4版本遇到的坑

Flink 1.4没出来以前，一直使用Flink 1.3.2，感觉还算稳定，最近将运行环境升级到1.4，遇到了一些坑：

1.需要将可运行程序，基于1.4.0重新编译一次

2.对比了一下flink-conf.yml中的配置，发现一处不同点：

# The port under which the web-based runtime monitor listens.
# A value of -1 deactivates the web server.

1.3.2：jobmanager.web.port: 8081

1.4.0：web.port: 8081

1.4.0 少了前面的“jobmanager”，但是查看官网1.4.0的文档，配置项却是：jobmanager.web.port(https://ci.apache.org/projects/flink/flink-docs-release-1.4/ops/config.html)

查看源代码，原来是两个都行，不过后面应该建议都用web开头的，改了还不少：

3.在Configuration的Common Options部分，1.4多了如下的东西：

classloader.resolve-order: Whether Flink should use a child-first ClassLoader when loading user-code classes or a parent-first ClassLoader. Can be one of parent-first or child-first. (default: child-first)classloader.parent-first-patterns: A (semicolon-separated) list of patterns that specifies which classes should always be resolved through the parent ClassLoader first. A pattern is a simple prefix that is checked against the fully qualified class name. By default, this is set to java.;org.apache.flink.;javax.annotation;org.slf4j;org.apache.log4j;org.apache.logging.log4j;ch.qos.logback. If you want to change this setting you have to make sure to also include the default patterns in your list of patterns if you want to keep that default behaviour.

Flink程序，原来在1.3.2上跑着没问题，换到1.4后，总是报：

java.lang.LinkageError: loader constraint violation:loader (instance of org/apache/flink/runtime/execution/librarycache/FlinkUserCodeClassLoaders$ChildFirstClassLoader) previously initiated loading for a different type with name "scala/collection/Iterable"

查看发布说明，才知道默认类加载顺序变了：

https://flink.apache.org/news/2017/12/12/release-1.4.0.html

在flink-conf.yml中配置了

classloader.resolve-order: parent-first

后问题解决

所以每个版本的发布说明，得仔细看清楚。

转载于:https://www.cnblogs.com/liugh/p/8057656.html

Flink升级到1.4版本遇到的坑相关推荐

iOS旧版微信SDK升级1.8.6版本小白踩坑记
虽然写了多年前端,但是一直都是写的lua,这次突然接到通知要升级微信SDK,以前也不是我捣鼓的,这下可愁坏了.本着万事不明,先备份改错的心态去下了微信SDK然后对比了下,发现跟以前没太大区别.主要区别 ...
【Flink】flink 升级 the given -yarn-cluster does not contain a valid port
文章目录 1.场景1 1.1 概述 1.场景1 1.1 概述在本次场景中,我是从flink 1.9升级到1.12.4 升级请参考:[Flink]Flink 从 1.9.1 版本升级到 1.12.4 ...
Flink即将在1.7版本发布全新的Kafka连接器
最近我们向Flink社区贡献了一个全新的Kafka连接器(https://github.com/apache/flink/pull/6703),关联JIRA issue FLINK-9697.它包含了 ...
慧算账全面升级，V2.2版本带来极致体验
本文讲的是慧算账全面升级,V2.2版本带来极致体验,日前,互联网财税服务领导者--慧算账正式宣布推出全新升级的重磅新版本.相较于前一版本,V2.2版整体性能进行了全面提升,内部优化幅度也十分惊人,高效 ...
解决启动不了VMware虚拟机以及VM升级到新的版本后出现黑屏的问题
解决启动不了VMware虚拟机以及VM升级到新的版本后出现黑屏的问题参考文章: (1)解决启动不了VMware虚拟机以及VM升级到新的版本后出现黑屏的问题 (2)https://www.cnblog ...
linux docker升级,CentOS上面升级Docker到最新版本
一般我们用yum安装的docker版本是1.6或者1.7,我们要把docker升级到最新的版本. 首选我们验证一下系统里的docker版本[root@xiaohuai ~]# docker -v Do ...
linux centos升级php_CentOS使用yum升级php到最新版本
CentOS的php版本默认为5.1.6,然后在5.2.9版本之前的的php都存在一个漏洞,但是目前网上很多地方都无法使用yum update php*升级到最新版本,比较常见的是升级到5.2.6版本 ...
linux系统内核从3.2.0-100-generic升级到3.13版本
Docker 官网上要求Docker需要在64位版本的Ubuntu上安装,并且还要保证 Ubuntu 内核的最小版本不低于 3.10. 查看系统相关信息可使用命令uname -a .uname -r ...
linux升级ssh到6.6版本,CentOS6.5 openssh升级到openssh-7.6版本
CentOS6.5 openssh升级到openssh-7.6版本 2018-8-3 foooy 升级前保证故障后能现场处理,或者远程卡处理,否则不要这样直接升级 yum install -y gcc ...

Flink升级到1.4版本遇到的坑

Flink升级到1.4版本遇到的坑相关推荐

最新文章

热门文章