大数据组件需要额外添加的依赖包汇总(持续更新中)
现在FLINK已经被阿里收购了，所以会有blink的jar包
| 大数据组件 | 依赖包来源 | 具体的依赖包 |
| Hadoop3.1.2 | 用户添加 |
javax.ws.rs-api-2.0-m11.jar jersey-server-1.19.4.jar (这两个是yarn timelineserver需要) |
| thrift-0.13.0 | 用户添加 | 无 |
| apache-zookeeper-3.6.0-bin/lib/ | 用户添加 | 无 |
| ClickHouse | 用户添加 | 无 |
| spark-3.0.0-preview2-bin-hadoop3.2/jars/ | 用户添加 |
commons-lang3-3.11.jar (与hive2.3.4配合使用时需要,与hive3.0.0配合使用时不需要) |
| nifi-1.11.4 | 用户添加 | 无 |
| flink-1.12/lib |
自带 |
flink-dist_2.12-1.12-SNAPSHOT.jar log4j-1.2-api-2.12.1.jar log4j-api-2.12.1.jar log4j-core-2.12.1.jar log4j-slf4j-impl-2.12.1.jar |
|
用户添加 |
hadoop-yarn-api-3.1.2.jar hadoop-yarn-api-3.1.2-sources.jar flink-shaded-hadoop-3-uber-3.1.1.7.0.3.0-79-7.0.jar commons-cli-1.4.jar javax.ws.rs-api-2.0.jar(flink shell on yarn需要) flink-queryable-state-runtime_2.12-1.12-SNAPSHOT.jar(query state需要,从flink-1.12/opt下面拷贝过去即可) |
|
|
hive-common-3.1.2.jar flink-sql-connector-hive-3.1.2_2.12-1.12.0.jar flink-sql-connector-hive-2.3.6_2.12-1.12.0.jar 以上4个都是Flink SQL Client读取hive需要 flink-sql-connector-hbase-2.2_2.12-1.12.0.jar(Flink SQL Client读取hbase需要) flink-hadoop-compatibility(没有验证) mysql-connector-java(flink写入mysql需要) kafka-clients-2.5.0.jar flink-connector-kafka_2.12-1.12.0.jar(FLINK SQL Client连接kafka需要) commons-compiler-3.0.11.jar(Flink SQL Client读取kafka消费端数据需要) janino-3.0.11.jar(Flink SQL Client读取kafka消费端数据需要) flink-sql-connector-mysql-cdc-1.1.1.jar(Flink CDC流程需要) |
||
| kafka_2.12-2.5.0/libs | 用户添加 |
zookeeper-3.6.0.jar kafka-connect-jdbc-5.5.1.jar(kafka connect功能需要) mysql-connector-java-8.0.21.jar(被上面一个jar调用) |
| apache-hive-3.0.0-bin/lib | 用户添加 |
mysql-connector-java-8.0.20.jar guava-27.0-jre.jar |
| hbase-2.2.6/lib | 用户添加 |
protobuf-java-2.5.0.jar 记得参考[1]，需要迁移大量hadoop的工程过来(最佳匹配版本是hadoop2.8.5) |
| apache-tez-0.9.2-bin/lib/ | 用户添加 |
hadoop-hdfs-client-3.1.2.jar hadoop-yarn-server-timeline-pluginstorage-3.1.2.jar slf4j-api-1.7.25.jar |
| sqoop-1.4.7.bin__hadoop-2.6.0/lib | 用户添加 |
mysql-connector-java-8.0.20.jar hbase-client-1.2.0.jar hbase-protocol-1.2.0.jar hbase-common-1.2.0.jar protobuf-java-2.5.0.jar metrics-core-2.2.0.jar htrace-core-3.1.0-incubating.jar |
| apache-tomcat-10.0.0-M5/lib | 用户添加 | 无 |
举例 ：
flink sql client读kafka出现下面报错
| 碰到的报错 | $FLINK_HOME/lib新增的依赖包 |
| Java.lang.ClassCastException:org.codehaus.janino.CompilerFactory cannot be cast to org.codehaus.commons.compiler.ICompilerFactory |
janino-3.1.2.jar commons-compiler-3.1.2.jar |
|
java.lang.SecurityException: class "org.codehaus.commons.compiler.ICompiler"'s signer information does not match signer information of other classes in the same package |
janino-3.1.2.jar commons-compiler-3.0.7.jar |
| java.lang.ClassNotFoundException: org.codehaus.commons.compiler.ICompiler |
感觉这么尝试下去不是办法，后来去gitee上下载到了flink的源码包
git checkout -b 1.12
grep -r codehaus
得到版本为:
flink-table/flink-table-planner/src/main/resources/META-INF/NOTICE:- org.codehaus.janino:janino:3.0.11
flink-table/flink-table-planner/src/main/resources/META-INF/NOTICE:- org.codehaus.janino:commons-compiler:3.0.11
最终得出结论需要去https://mvnrepository.com下载下面两个。
commons-compiler-3.0.11.jar
janino-3.0.11.jar
Reference:
[1]The procedure WAL relies on the ability to hsync for proper operation during component failures
大数据组件需要额外添加的依赖包汇总(持续更新中)相关推荐
- 大数据Notebook调研信息汇总(持续更新中)
大数据组件 支持Spark 支持Flink 支持最新版大数据组件 备注 Zeppelin ✓ ✓ X 大概消耗1.3G内存 Jupyter ✓ 必须导入alink才支持 ✓ Databricks ...
- 各大互联网厂面试题（付详细答案，持续更新中...）
文章目录 携程 1. 上来就手撕单例模式,线程安全的懒汉模式的实现,然后问怎么优化,双重锁校验,如果要实现变量可见性?** 2. 线程池相关核心线程满了线程放哪里?阻塞队列满了放哪里?基本线程和阻塞队 ...
- Hbase数据倾斜问题处理手段汇总(持续更新中)
[1]HBase 中加盐(Salting)之后的表如何读取:协处理器篇 [2]Hbase热点问题.数据倾斜和rowkey的散列设计 [3]HBase优化之避免数据倾斜 [4]大数据学习笔记--HBas ...
- 大数据集群中数据互相导通流程汇总(持续更新中)
X:原理上不存在这种流程或者没有必要. 加粗:数据库或数据仓库 非加粗:表示文件格式 ☆:表示重点,正在整理中 左侧列:数据源头 上侧行:数据传递终点 Hbase HDFS json txt My ...
- 大数据组件之HBase
文章目录 前言 一.HBase 1.Region 2.RegionServer 3.Master 4.Zookeeper 二.HBases的Standalone安装 1.解压配置环境变量 1.下载 2 ...
- hive 取消打印日志信息_Hive及其相关大数据组件
HDFS架构 Hadoop 分布式文件系统(HDFS)是 Hive 存储数据的地方,简单了解HDFS的基本机制和读写工作机制,对于排查HiveSQL 程序是否由于数据存储引发的性能问题有较大的帮助. ...
- 假如大数据组件中的动物都变成神奇宝贝，那会变成什么样？（大数据的组件动漫化）
文章目录 假如大数据组件中的动物都变成神奇宝贝,那会变成什么样? 第一个神奇宝贝 Hadoop 第二个神奇宝贝 Hive 第三个神奇宝贝 Hbase 第四个神奇宝贝的管理员 Zookeeper 第五个 ...
- 企鹅够牛，大事不断：腾讯音乐遭“投资者律师代表团”调查、大数据组件TubeMQ宣布开源、1千万美元领投英国AI企业SenSat...
整理: 数据猿 Toby 数据猿官网 | www.datayuan.cn 今日头条丨一点资讯丨腾讯丨搜狐丨网易丨凤凰丨阿里UC大鱼丨新浪微博丨新浪看点丨百度百家丨博客中国丨趣头条丨腾讯云·云+社区 据 ...
- 一篇文章带你了解大数据生态圈---大数据组件图谱
小编一篇文章带你了解大数据生态圈-大数据组件图谱 转载地址:http://blog.csdn.net/u010039929/article/details/70157376 文章目录 小编一篇文章带你 ...
最新文章
- 你对象怎么找的？日本网友：国家用AI给分配的
- DPDK vhost库（十一）
- iOS - OC 术语表
- ipad2“新瓶装老酒” 苹果创新乏力？
- 科大星云诗社动态20210827
- 连麦互动直播方案全实践1：什么是连麦互动直播？
- php redis 读写分离类,yii实现redis读写分离
- leetcode 66 Plus One
- 简单明了 - Git 使用超详细教程
- Tomcat 项目代码上线步骤详解
- python中if elif else流程图_Python中的if、else、elif语句用法简明讲解
- Java并发之从基础到框架
- Silverlight数据驱动模式探索系列 （1）已知列数的DataGrid绑定
- AI的边界在哪里？科大讯飞“上天入地”
- QT CREATOR出现no Qt platform plugin问题
- 9.10 深信服笔试记录
- 信息系统项目管理师第三版 pdf可编辑_信息系统项目管理师教程(第三版)——可行性研究...
- oracle公司的crm有哪些主要模块,CRM主要功能模块有哪些
- 喜讯：我司通过ISO9001质量管理体系认证！
- 移动通信网络频段大全