CDH 6.3.2部署flink 1.14.3出现/opt/cloudera/parcels/FLINK/lib/flink/bin/flink-yarn.sh:17: rotateLogFilesW
/opt/cloudera/parcels/FLINK/lib/flink/bin/flink-yarn.sh:17: rotateLogFilesW
CDH 6.3.2部署flink 1.14.3出现异常,异常信息
+ sed -i 's#=#: #g' /var/run/cloudera-scm-agent/process/158-flink_on_yarn-FLINK_YARN/flink-conf.properties
++ cat /var/run/cloudera-scm-agent/process/158-flink_on_yarn-FLINK_YARN/flink-conf.properties
++ grep high-availability:
+ HIGH_MODE='high-availability: zookeeper'
+ '[' 'high-availability: zookeeper' = '' ']'
++ cat /var/run/cloudera-scm-agent/process/158-flink_on_yarn-FLINK_YARN/flink-conf.properties
++ grep high-availability.zookeeper.quorum:
+ HIGH_ZK_QUORUM='high-availability.zookeeper.quorum: node01:2181,node02:2181'
+ '[' 'high-availability.zookeeper.quorum: node01:2181,node02:2181' = '' ']'
+ cp /var/run/cloudera-scm-agent/process/158-flink_on_yarn-FLINK_YARN/flink-conf.properties /var/run/cloudera-scm-agent/process/158-flink_on_yarn-FLINK_YARN/flink-conf/flink-conf.yaml
+ HADOOP_CONF_DIR=/var/run/cloudera-scm-agent/process/158-flink_on_yarn-FLINK_YARN/yarn-conf
+ export FLINK_HOME FLINK_CONF_DIR HADOOP_CONF_DIR
+ echo CONF_DIR: /var/run/cloudera-scm-agent/process/158-flink_on_yarn-FLINK_YARN
+ echo HADOOP_CONF_DIR: /var/run/cloudera-scm-agent/process/158-flink_on_yarn-FLINK_YARN/yarn-conf
+ echo ''
++ date
+ echo 'Date: 2022 02 12 19:02:22 CST'
+ echo 'Host: node02'
+ echo 'NODE_TYPE: '
+ echo 'ZK_QUORUM: node01:2181,node02:2181'
+ echo 'FLINK_HOME: /opt/cloudera/parcels/FLINK/lib/flink'
+ echo 'FLINK_CONF_DIR: /var/run/cloudera-scm-agent/process/158-flink_on_yarn-FLINK_YARN/flink-conf'
+ echo ''
+ '[' true = true ']'
+ exec /opt/cloudera/parcels/FLINK/lib/flink/bin/flink-yarn.sh --container 1 --streaming
/opt/cloudera/parcels/FLINK/lib/flink/bin/flink-yarn.sh:17: rotateLogFilesWithPrefix:
异常信息图片
解决方案,如下:
1.上传相应jar
上传 commons-cli-1.5.0.jar、flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-173-9.0.jar这2个jar到
/opt/cloudera/parcels/FLINK-1.14.3-BIN-SCALA_2.12/lib/flink/lib目录,需要安装服务都需要上传
相关大数据学习demo地址:
https://github.com/carteryh/big-data
CDH 6.3.2部署flink 1.14.3出现/opt/cloudera/parcels/FLINK/lib/flink/bin/flink-yarn.sh:17: rotateLogFilesW相关推荐
- 安装CDH出现file /opt/cloudera/parcels/.flood/CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel...does not exist
使用Cloudera Manager采取parcel方式安装CDH的时候,部分agent节点出现异常: Src file /opt/cloudera/parcels/.flood/CDH-6.2.0- ...
- CDH安装时报错:/opt/cloudera/parcels/.flood/.../CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel does not exist
原因:磁盘空间不足. 解决:优先查看节点的磁盘空间,根目录大小不要小于30G. 根目录空间扩容到30G 以上,(每台都要).
- 技术前沿资讯-Apache Flink 1.14 新特性介绍
一.简介 1.14 新版本原本规划有 35 个比较重要的新特性以及优化工作,目前已经有 26 个工作完成:5 个任务不确定是否能准时完成:另外 4 个特性由于时间或者本身设计上的原因,会放到后续版本完 ...
- Flink 1.14 新特性预览
简介: 一文了解 Flink 1.14 版本新特性及最新进展 本文由社区志愿者陈政羽整理,内容源自阿里巴巴技术专家宋辛童 (五藏) 在 8 月 7 日线上 Flink Meetup 分享的<Fl ...
- 【Flink】Flink Flink 1.14 新特性预览
1.概述 转载:Flink 1.14 新特性预览 简介: 一文了解 Flink 1.14 版本新特性及最新进展 本文由社区志愿者陈政羽整理,内容源自阿里巴巴技术专家宋辛童 (五藏) 在 8 月 7 日 ...
- flink 1.14编译:flink-fs-hadoop-shaded找不到
使用命令 mvn clean install -Dmaven.test.skip=true -Dmaven.javadoc.skip=true -Dcheckstyle.skip=true -Dmav ...
- CentOS7安装CDH(五):CDH的安装和部署-CDH5.7.0
目录 0. 相关文章链接 1. CDH的下载 1.1. cm的tar包下载 1.2. parcels包下载 2. 安装CDH的准备工作(所有节点都要执行) 2.1. 安装好JDK 2.2. 更改主机名 ...
- Flink从入门到精通100篇(二十二)- Flink应用实战案例:如何实现网络流控与反压机制
目录 Flink 流处理为什么需要网络流控? Flink V1.5 版之前网络流控介绍 Flink V1.5 版之前的反压策略存在的问题 Credit的反压策略实现原理,Credit是如何解决 Fli ...
- 使用flink Table Sql api来构建批量和流式应用(3)Flink Sql 使用
从flink的官方文档,我们知道flink的编程模型分为四层,sql层是最高层的api,Table api是中间层,DataStream/DataSet Api 是核心,stateful Stream ...
最新文章
- 观察者模式(Observer)
- 模型在gpu上反而速度变慢了_Tensorflow1.13.1+CUDA10.0+CuDNN7.4在GPU上训练模型
- 入门系列之在Ubuntu上安装Drone持续集成环境
- maven配置开源中国镜像
- JavaScript Tutorial
- HDFS/zookeeper/hbase初始化
- python flask 大文件 下载_flask - python上传大文件到服务器报错
- java web 开发基础_javaweb开发基础(一)
- oracle监控工具ignite使用图解
- Java Design Pattern(Factory,Singleton,Prototype,Proxy)
- 基于Qt的海康威视SDK二次开发-摄像头登陆、预览和抓图
- 内蒙古特检院利用物联网/RFID技术提高电梯检测水平
- 状态机实现的LED交通灯2
- android 市场 上传,安卓市场APP上传流程及审核要求
- TensorFlow Probability 联合分布变分推断工具,估计权重的贝叶斯可信区间更简单
- 明源售楼系统技术解析 折扣管理(二)
- oracle01004,Oracle goldengate的OGG-01004 OGG-1296错误
- 如何在Mac电脑中卸载软件?Mac电脑卸载软件方法汇总
- 图10——判断顶点u和顶点v是否存在简单路径
- OpenResty学习——第七章 Web开发实战2——商品详情页
热门文章
- Oracle DBA培训教程:从实践中学习Oracle数据库管理与维护(第2版)笔记
- 1103 Integer Factorization (30分)
- Unity iOS包打出的app名称空格丢失
- win10 全局快捷键设置启动程序
- 程序员 键盘 符号 字符 单词
- 超声扩散波复合成像仿真(ultrasound diverg_wave compound imaging simulation)
- 互联网家谱受到追捧,传统修谱方式面临淘汰,数字家谱:好用
- 人工智能技术的热潮让不少创业浪潮迅速崛起
- hazelcast_使用Hazelcast发布和订阅
- cad角度命令怎么输入_CAD阵列命令中角度阵列的使用技巧