Linkis 编译文档
Linkis 编译文档
目录
- 1. 全量编译 Linkis
- 2. 编译单个模块
- 3. 编译某个引擎
- 4. 如何修改Linkis的依赖的Hadoop、Hive、Spark版本
- 5. 编译前端管理台
1.全量编译 Linkis
编译环境要求: 必须 JDK8 以上,Oracle/Sun 和 OpenJDK都支持。
从 git 获取项目代码后,使用 maven 编译项目安装包。
请注意:官方推荐使用 Hadoop-2.7.2、Hive-1.2.1、Spark-2.4.3 和 Scala-2.11.8 对 Linkis 进行编译。
如果您想使用 Hadoop、Hive、Spark 的其他版本对 Linkis 进行编译,请参考:如何修改Linkis的依赖的Hadoop、Hive、Spark版本
(1) 如果您是本地第一次编译使用,必须在 Linkis 源码包根目录先执行以下命令:
cd wedatasphere-linkis-x.x.xmvn -N install
(2) 在 Linkis 源码包根目录执行以下命令:
cd wedatasphere-linkis-x.x.xmvn clean install
(3) 获取安装包,在工程的assembly->target目录下:
ls wedatasphere-linkis-x.x.x/assembly/target/wedatasphere-linkis-x.x.x-dist.tar.gz
2.编译单个模块
从 git 获取项目代码后,使用 maven 打包项目安装包。
(1) 如果您是本地第一次使用,必须在 Linkis 源码包根目录先执行以下命令:
cd wedatasphere-linkis-x.x.xmvn -N install
(2) 跳转到对应模块进行编译,比如想重新编译 Entrance,命令如下:
cd wedatasphere-linkis-x.x.x/linkis-computation-governance/linkis-entrancemvn clean install
(3) 获取安装包,在对应模块的->target目录下会有编译好的包:
ls wedatasphere-linkis-x.x.x/linkis-computation-governance/linkis-entrance/target/linkis-entrance.x.x.x.jar
3. 编译某个引擎
这里以编译 Linkis 的 Spark 引擎为例:
(1) 如果您是本地第一次使用,必须在 Linkis 源码包根目录先执行以下命令:
cd wedatasphere-linkis-x.x.xmvn -N install
(2) 跳转到 Spark 引擎所在的目录进行编译打包,命令如下:
cd wedatasphere-linkis-x.x.x/linkis-engineconn-plugins/engineconn-plugins/sparkmvn clean install
(3) 获取安装包,在对应模块的->target目录下会有编译好的包:
ls wedatasphere-linkis-x.x.x/linkis-engineconn-plugins/engineconn-plugins/spark/target/linkis-engineplugin-spark-x.x.x.zip
如何单独安装 Spark 引擎? 请参考 Linkis 引擎插件安装文档
4. 如何修改Linkis的依赖的Hadoop、Hive、Spark版本
请注意:Hadoop 作为大数据基础服务,Linkis 必须依赖 Hadoop 进行编译; 而 Spark、Hive等计算存储引擎则不然,如果您不想使用某个引擎,可以无需设置该引擎的版本,无需编译该引擎插件。
具体而言,修改 Hadoop 的版本与 Spark、Hive 等计算引擎的方式不同,下面详细介绍:
如何修改 Linkis 依赖的 Hadoop 版本?
进入 Linkis 源码包根目录,手动修改 pom.xml 文件的 Hadoop 版本信息,具体如下:
cd wedatasphere-linkis-x.x.xvim pom.xml<properties><hadoop.version>2.7.2</hadoop.version> <!--> 在这里修改Hadoop版本号 <--><scala.version>2.11.8</scala.version><jdk.compile.version>1.8</jdk.compile.version></properties>
请注意:如果你的hadoop版本是hadoop3,需要修改linkis-hadoop-common的pom文件 因为在hadoop2.8以下的时候,hdfs相关的class是在hadoop-hdfs模块中的,但是在hadoop 3.X中将对应的class移动到了模块hadoop-hdfs-client当中,您需要修改下这个文件:
pom:Linkis/linkis-commons/linkis-hadoop-common/pom.xml
修改依赖hadoop-hdfs为hadoop-hdfs-client:<dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs</artifactId> <!-- 只需要将该行替换即可,替换为 <artifactId>hadoop-hdfs-client</artifactId>--><version>${hadoop.version}</version>...将hadoop-hdfs修改为:<dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs-client</artifactId><version>${hadoop.version}</version>...
如何修改 Linkis 依赖的 Spark、Hive 版本?
这里以修改 Spark 的版本为例进行介绍。进入 Spark 引擎所在的目录,手动修改 pom.xml 文件的 Spark 版本信息,具体如下:
cd wedatasphere-linkis-x.x.x/linkis-engineconn-plugins/engineconn-plugins/sparkvim pom.xml<properties><spark.version>2.4.3</spark.version> <!--> 在这里修改Spark版本号 <--></properties>
修改其他引擎的版本与修改 Spark 版本类似,先进入相关引擎所在的目录,手动修改 pom.xml 文件的引擎版本信息即可。
然后请参考 编译某个引擎
Linkis 编译文档相关推荐
- vlc windows 编译文档
vlc windows 编译文档 http://wiki.videolan.org/Win32Compile 转载于:https://www.cnblogs.com/weinyzhou/archive ...
- github 和git_Google编码文档:Git和GitHub
github 和git by Yung L. Leung 梁永良 Google编码文档:Git和GitHub (The Google Doc of Coding: Git & GitHub) ...
- Word文档怎么翻译成中文?学会这几种方法你也能翻译文档
撰写论文的时候,我们会借阅一些外国的文献,假如自身的词汇量不高,在阅读的时候就会有些困难,所以会先翻译文档再进行阅读.小伙伴们一般会采取什么方法呢?是一句一句复制翻译的吗?这样的操作是能翻译文档,就是 ...
- ffmpeg个人翻译文档1-8转
[个人翻译]ffmpeg文档1 (2008-08-26 09:39:15) 转载 标签: 杂谈 分类: 翻译文档 指导1:制作屏幕录像 源代码:tutorial01.c 概要 电影文件有很多基本的 ...
- V3_Chrome扩展中文翻译文档V3目录
本系列文章是Chrome开发者网站扩展程序开发文档V3的中文译文,英文文档链接: Chrome Developers - Extensions.译者为博主自己. 目录 V3 01_Welcome 「欢 ...
- 《使用CSLA 2019:CSLA .NET概述》原版和机译文档下载
自己从作者官方网站上(http://www.cslanet.com/)下载的免费版.PDF文档,又使用有道付款翻译的,供大家下载学习,文档中是对CSLA.NET4.9版本的介绍. 下载链接:http: ...
- 【转】XMPP_3920_最靠谱的中文翻译文档
CHENYILONG Blog XMPP_3920_最靠谱的中文翻译文档 Fullscreen © chenyilong. Powered by Postach.io Blog 转载于:https:/ ...
- jstree Api 中文翻译文档
jstree jstree Api原网站 https://www.jstree.com/ 转载于 http://blog.csdn.net/qq_24472595/article/details/70 ...
- 阿里巴巴集群跟踪数据 Cluster Data V2017翻译文档
原文链接:https://github.com/alibaba/clusterdata/blob/v2018/cluster-trace-v2017/trace_201708.md 以下阿里巴巴201 ...
最新文章
- ASP.NET2.0中用Gridview控件操作数据
- RxJava2.x 萌新之路 操作符篇
- 全球与中国血管重建装置市场投资现状及发展规划建议报告2022-2028年
- 偏见为什么是数据科学领域的一个大问题
- JDK 8 新特性 之 Strams简单使用
- 全球最大的多晶硅制造商保利协鑫去年营收220亿元 售电业务表现抢眼
- Java 网络实例一(获取指定主机的IP地址、查看端口是否已使用、获取本机ip地址及主机名、获取远程文件大小)
- 344.Reverse String
- Linux编辑启动停止重启springboot jar包脚本
- Linux 下Nginx+Tomcat 完美整合 nginx tomcat 整合方式
- 转:深度解析Java8 – AbstractQueuedSynchronizer的实现分析(上)
- Allegro cadence下载安装
- 平面几何----用角平分线逆定理证明阿氏圆定理
- 互联网这个高薪岗位不要错过,平均薪资超15k
- 预约移民后服务器不显示,玩家预约凌烟阁服务器瞬间成功,这算不算被几率
- PASCAL VOC数据集训练集、验证集、测试集的划分和提取
- STM32F446RET6产品描述
- HttpClient 同时支持发送http及htpps请求
- win10 - 鼠标(左键,右键)操作卡, 挂掉,死机问题的解决思路
- 【出差总结】出差0902
热门文章
- android tible控件_android自定义表单,表格控件TableRowTextView
- java怎么从一个类传值到另一个类_Android开发之两个类之间的数据传递
- linux内核杂记(10)-进程调度(5)
- 趣学python3(42)--将字符串格式日期转换为excel的日期格式
- 【NLP】NLP文本分类落地实战五大利器!
- 如何攻克目标检测?百度全球顶级会议双料冠军团队有话说!
- 【机器学习基础】数学推导+纯Python实现机器学习算法13:Lasso回归
- 【NLP】ACL 2010-2020研究趋势总结
- 员外陪你读论文:DeepWalk: Online learning of Social Representations
- 序列化推荐系统总结:Sequential Recommender Systems: Challenges, Progress and Prospect