如何修改 Linkis 依赖的 Spark、Hive 版本?
如何修改Linkis的依赖的Hadoop、Hive、Spark版本
请注意:Hadoop 作为大数据基础服务,Linkis 必须依赖 Hadoop 进行编译; 而 Spark、Hive等计算存储引擎则不然,如果您不想使用某个引擎,可以无需设置该引擎的版本,无需编译该引擎插件。
具体而言,修改 Hadoop 的版本与 Spark、Hive 等计算引擎的方式不同,下面详细介绍:
如何修改 Linkis 依赖的 Hadoop 版本?
进入 Linkis 源码包根目录,手动修改 pom.xml 文件的 Hadoop 版本信息,具体如下:
cd wedatasphere-linkis-x.x.xvim pom.xml<properties><hadoop.version>2.7.2</hadoop.version> <!--> 在这里修改Hadoop版本号 <--><scala.version>2.11.8</scala.version><jdk.compile.version>1.8</jdk.compile.version></properties>
请注意:如果你的hadoop版本是hadoop3,需要修改linkis-hadoop-common的pom文件 因为在hadoop2.8以下的时候,hdfs相关的class是在hadoop-hdfs模块中的,但是在hadoop 3.X中将对应的class移动到了模块hadoop-hdfs-client当中,您需要修改下这个文件:
pom:Linkis/linkis-commons/linkis-hadoop-common/pom.xml
修改依赖hadoop-hdfs为hadoop-hdfs-client:<dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs</artifactId> <!-- 只需要将该行替换即可,替换为 <artifactId>hadoop-hdfs-client</artifactId>--><version>${hadoop.version}</version>...将hadoop-hdfs修改为:<dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs-client</artifactId><version>${hadoop.version}</version>...
如何修改 Linkis 依赖的 Spark、Hive 版本?
这里以修改 Spark 的版本为例进行介绍。进入 Spark 引擎所在的目录,手动修改 pom.xml 文件的 Spark 版本信息,具体如下:
cd wedatasphere-linkis-x.x.x/linkis-engineconn-plugins/engineconn-plugins/sparkvim pom.xml<properties><spark.version>2.4.3</spark.version> <!--> 在这里修改Spark版本号 <--></properties>
修改其他引擎的版本与修改 Spark 版本类似,先进入相关引擎所在的目录,手动修改 pom.xml 文件的引擎版本信息即可。
然后请参考 编译某个引擎
如何修改 Linkis 依赖的 Spark、Hive 版本?相关推荐
- hadoop + spark+ hive 集群搭建(apache版本)
0. 引言 hadoop 集群,初学者顺利将它搭起来,肯定要经过很多的坑.经过一个星期的折腾,我总算将集群正常跑起来了,所以,想将集群搭建的过程整理记录,分享出来,让大家作一个参考. 由于搭建过程比较 ...
- 寻找hadoop、hive、spark对应版本
1.spark对应的环境 http://spark.apache.org/documentation.html 2.找spark和hive版本 http://spark.apache.org/docs ...
- 最新spark,hive,flink,kafka,hadoop,zookeeper,flume,java,maven,Apache历史版本大全下载
最新spark,hive,flink,kafka,hadoop,zookeeper,flume,java,maven,Apachek开源框架历史版本下载 TP通道 >> www.apac ...
- Spark Hive 云原生改造在智领云的应用
引 言 随着 Kubernetes 越来越成熟,使用者越来越多,大数据应用上云的需求也越来越迫切.原有的大数据资源管理器 Yarn 很难做到所有应用资源统一控制,完全隔离,带来的主机应用和大数据计算应 ...
- cdh的hive配置中,修改 添加 hive-site.xml 配置 hive 增加用户 role 更改权限
dh的hive配置中,修改 添加 hive-site.xml 配置 CDH版本的hive-site.xml是通过CM配置生成的文件,每次启动,都会根据CM选项还原配置,因此,我们必须用CM界面,找到H ...
- [Spark][Hive][Python][SQL]Spark 读取Hive表的小例子
[Spark][Hive][Python][SQL]Spark 读取Hive表的小例子 $ cat customers.txt 1 Ali us 2 Bsb ca 3 Carls mx $ hive ...
- Eclipse修改web项目的jdk编译版本
Eclipse修改web项目的jdk编译版本 有的时候因为项目需要的原因我们需要指定web项目的编译版本,下边是两种修改编译版本的方法 1.修改所有项目的默认jdk版本 点击Window->Pr ...
- Java Gradle入门指南之依赖管理(添加依赖、仓库、版本冲突)
Java Gradle入门指南之依赖管理(添加依赖.仓库.版本冲突) 作者:@gzdaijie 本文为作者原创,转载请注明出处:http://www.cnblogs.com/gzdaijie/p/52 ...
- oracle查看本机字符集,查看、修改oracle字符集,查看oracle版本
查看.修改oracle字符集,查看oracle版本 1.查看数据库字符集 数据库服务器字符集select * from nls_database_parameters,其来源于props$,是表示数据 ...
最新文章
- php unset 静态变量,php如何删除静态变量
- 微信小程序之购物车功能
- 022 Spark shuffle过程
- 用jquery + iframe實現iframe子頁面加載完前的緩沖效果
- opencv5-图像混合
- 什么是OAuth 2.0
- 红橙Darren视频笔记 builder设计模式+navigationBar导航条
- 医疗大数据技术与应用
- Atitit.编程语言的主要的种类and趋势 逻辑式语言..函数式语言...命令式语言
- 未来教育c语言二级51套答案,未来教育版计算机二级C语言上机题库(含答案)
- 基于SSM的在线电影购票系统【源码开源】
- java两级缓存框架J2cache
- 交换机和路由器的区别计算机网络,交换机和路由器有什么区别?路由器与交换机的区别知识...
- OpenWrt 安装中文语言包
- 苹果电子邮件怎么注册_无需购买 iPhone,可以使用哪些苹果的优质服务?
- 网络统考计算机操作题分数占比,计算机一级office考试 word占多少分值?
- 蚂蚁区块链平台BaaS技术解析与实践
- v4l2框架-开启视频流(stream on)
- 自学用——html+css(要点)
- 项目管理-挣值分析方法学习总结