Linkis ，一个在上层应用程序和底层引擎之间的计算中间件。通过使用Linkis 提供的REST/WebSocket/JDBC 等标准接口，上层应用可以方便地连接访问MySQL/Spark/Hive/Presto/Flink 等底层引擎，同时实现变量、脚本、函数和资源文件等用户资源的跨上层应用互通。用于解决前台各种工具、应用，和后台各种计算存储引擎间的连接、访问和复用问题。

一、基础软件安装

软件	版本	是否必装
JDK	1.8.0_141以上	必须安装
MySQL	5.5+	必须安装
Python	2.x和3.x都支持	必须安装
Hadoop	社区版和CDH3.0以下版本都支持	根据需要
Hive	1.2.1，2.0和2.0以上版本，可能存在兼容性问题	根据需要
Spark	Linkis release0.7.0开始，支持Spark2.0以上所有版本	根据需要

二、Linkis环境准备

例如：部署用户是linkis

1、在部署机器上创建部署用户

sudo useradd linkis

2、为部署用户添加sudo权限，且免密

vim /etc/sudoers
linkis  ALL=(ALL)       NOPASSWD: NOPASSWD: ALL

3、设置如下的全局环境变量，以便Linkis能正常使用Hadoop、Hive和Spark

以部署用户是linkis为例

vim /home/linkis/.bashrc

#JDK
export JAVA_HOME=/nemo/jdk1.8.0_141
##如果不使用Hive、Spark等引擎且不依赖Hadoop，则不需要修改以下环境变量
#HADOOP
export HADOOP_HOME=/appcom/Install/hadoop
export HADOOP_CONF_DIR=/appcom/config/hadoop-config
#Hive
export HIVE_HOME=/appcom/Install/hive
export HIVE_CONF_DIR=/appcom/config/hive-config
#Spark
export SPARK_HOME=/appcom/Install/spark
export SPARK_CONF_DIR=/appcom/config/spark-config/
export PYSPARK_ALLOW_INSECURE_GATEWAY=1  # Pyspark必须加的参数

4、下载Linkis安装包

下载地址：https://github.com/apache/incubator-linkis/releases

5、解压安装包到安装目录

tar -xvf  wedatasphere-linkis-x.x.x-combined-package-dist.tar.gz

解压后切到linkis的目录下，进行修改配置

6、修改基础配置（依赖HDFS/Hive/Spark）

vim config/linkis-env.sh

    SSH_PORT=22        #指定SSH端口，如果单机版本安装可以不配置deployUser=linkis      #指定部署用户WORKSPACE_USER_ROOT_PATH=file:///tmp/hadoop    # 指定用户根目录，一般用于存储用户的脚本文件和日志文件等，是用户的工作空间。RESULT_SET_ROOT_PATH=hdfs:///tmp/linkis   # 结果集文件路径，用于存储Job的结果集文件ENGINECONN_ROOT_PATH=/appcom/tmp #存放ECP的安装路径，需要部署用户有写权限的本地目录ENTRANCE_CONFIG_LOG_PATH=hdfs:///tmp/linkis/  #ENTRANCE的日志路径#因为1.0支持多Yarn集群，使用到Yarn队列资源的一定需要配置YARN_RESTFUL_URLYARN_RESTFUL_URL=http://127.0.0.1:8088  #Yarn的ResourceManager的地址# 如果您想配合Scriptis一起使用，CDH版的Hive，还需要配置如下参数（社区版Hive可忽略该配置）HIVE_META_URL=jdbc://...   # HiveMeta元数据库的URLHIVE_META_USER=   # HiveMeta元数据库的用户HIVE_META_PASSWORD=    # HiveMeta元数据库的密码# 配置hadoop/hive/spark的配置目录 HADOOP_CONF_DIR=/appcom/config/hadoop-config  #hadoop的conf目录HIVE_CONF_DIR=/appcom/config/hive-config   #hive的conf目录SPARK_CONF_DIR=/appcom/config/spark-config #spark的conf目录## LDAP配置，默认Linkis只支持部署用户登录，如果需要支持多用户登录可以使用LDAP，需要配置以下参数：#LDAP_URL=ldap://localhost:1389/ #LDAP_BASEDN=dc=webank,dc=com##如果spark不是2.4.3的版本需要修改参数：#SPARK_VERSION=3.1.1##如果hive不是1.2.1的版本需要修改参数：#HIVE_VERSION=2.3.3

注意：在配置中有些是file:///、hdfs:///开头的，这些是必须的，我们只修改后边的路径即可

假如你不依赖HDFS/Hive/Spark
可按照如下配置

#SSH_PORT=22        #指定SSH端口，如果单机版本安装可以不配置deployUser=hadoop      #指定部署用户LINKIS_INSTALL_HOME=/appcom/Install/Linkis    # 指定安装目录WORKSPACE_USER_ROOT_PATH=file:///tmp/hadoop    # 指定用户根目录，一般用于存储用户的脚本文件和日志文件等，是用户的工作空间。RESULT_SET_ROOT_PATH=file:///tmp/linkis   # 结果集文件路径，用于存储Job的结果集文件ENGINECONN_ROOT_PATH=/appcom/tmp #存放ECP的安装路径，需要部署用户有写权限的本地目录ENTRANCE_CONFIG_LOG_PATH=file:///tmp/linkis/  #ENTRANCE的日志路径## LDAP配置，默认Linkis只支持部署用户登录，如果需要支持多用户登录可以使用LDAP，需要配置以下参数：#LDAP_URL=ldap://localhost:1389/ #LDAP_BASEDN=dc=webank,dc=com

7、修改数据库配置

vim config/db.sh

    # 设置数据库的连接信息# 包括IP地址、数据库名称、用户名、端口# 主要用于存储用户的自定义变量、配置参数、UDF和小函数，以及提供JobHistory的底层存储MYSQL_HOST=MYSQL_PORT=MYSQL_DB=MYSQL_USER=MYSQL_PASSWORD=

三、安装与启动

8、执行安装脚本

sh bin/install.sh

第一次安装的是否会询问您是否需要初始化数据库并导入元数据，选择是，这样会把数据库中的用户数据清空
通过查看控制台打印的日志信息查看是否安装成功。

9、启动Linkis

sh sbin/linkis-start-all.sh

可以在Eureka界面查看服务启动成功情况，查看方法：

使用http://${EUREKA_INSTALL_IP}:${EUREKA_PORT}, 在浏览器中打开，查看服务是否注册成功。

四、安装过程中常见的问题

1、need ‘mysql’ (your linux command not found)

出现这个问题呢，一个可能是你没有安装mysql，一个是可能linkis用户没有访问mysql的权限，只要你能在你的安装用户下（我这里是Linkis用户）能访问mysql就可以了

2、need ‘dos2unix’ (your linux command not found)

出现这个问题呢，是缺少dos2unix，安装即可

sudo yum -y install dos2unix

3、Failed to + create hdfs:///data/linkis directory

这个呢，是因为不能访问hdfs的原因，一个可能是没安装，安装即可，另一个可能是安装了，但可能是别的用户下安装的，你没有权限访问，开通访问权限即可，及在你部署的用户（我的是linkis用户）下可以使用hdfs命令，那就可以了。
一般可能处理的方式是export hdfs的安装路径，是hdfs的安装路径的访问权限。

尽管按着安装步骤可能依然会遇到各种各样的问题，毕竟每个人的安装环境安装方式可能不一样，不过就我安装所遇到的问题，大多都是因为在安装用户下，不能访问别的用户安装的软件的问题，大家遇到问题也可以朝这个方向思考,大多按着给出的提示处理就好

以上，就是Linkis的安装部署步骤，及一些常见问题
感谢您的阅读~

【大数据】Linkis如何安装部署，及一些常见问题相关推荐

大数据之clickhouse安装部署
一.clickhouse简介 ClickHouse是俄罗斯的Yandex于2016年开源的一个用于联机分析(OLAP:Online Analytical Processing)的列式数据库管理系统(D ...
大数据各组件安装（数据中台搭建）
文章目录一.基础环境配置(三台机器都操作) 1.修改主机名: 2.关闭防火墙: 3.关闭Selinux: 4.文件描述符配置: 5.关闭 THP: 6.自定义 JDK 安装: 6.1 删除默认ope ...
大数据及Linux安装
大数据及Linux安装大数据背景现在的社会发展相当迅速,科技发达,信息流通,使得人们之间的交流越来越密切,生活也越来越方便,在智能手机.智能穿戴设备基本普及的高科技时代的背景下,大数据应运而生. ...
gblfy大数据技术之安装CentOS系列
gblfy大数据技术之安装CentOS系列 1检查BIOS虚拟化支持(可以先执行第二步,如果不支持再回来设置) 2新建虚拟机 3新建虚拟机向导 4创建虚拟空白光盘 5安装Linux系统对应的CentO ...
ruoyi 多模块部署_大数据时代，独立部署的商城系统具有哪些优势？
独立部署是把一个可部署软件包安装到一个指定IT环境上并让其按预定流程提供服务的过程. 现如今,越来越多的商家开始搭建网上商城系统,从而为自己积攒多年的客户群体提供更为便捷的购物模式,让购物变得更加智能 ...
大数据Hadoop环境安装
前言工作场景的需要,最近开始学习起了大数据相关的东西.对于我这个初学者,大数据入门就是首先得学会Hadoop环境的安装,按照步骤如遇相关问题,请指正. Hadoop环境的安装,我是用自己电脑借助VM ...
Hive大数据-Hive的安装与启动---大数据之Hive工作笔记0005
然后我们再去看这个hive的安装,其实正确的学习路径应该是,首先去看一下hadoop,因为大数据中,很多知识都是基于hadoop的,然后再去看hive,然后再去看hbase,spark,flink ...
大数据开发之安装mysql
文章目录前言一.安装mysql数据库(我们安装Mysql分支--MariaDB) 二.熟悉mysql常用命令,包括sql命令三.命令专题查询排序分类汇总多表查询 limit子句用法四. ...
【大数据】07 安装软件
软件的安装是一个非常重要的环节,因为人使用电脑的目的就是使用程序,如果一个系统你连软件都不会装,那你就根本不会用. Linux 的软件安装包括以下三种: 编译安装 rpm安装:包 yum安装:仓库首 ...
Hadoop大数据系列组键-部署
高可用完全分布式模式一.部署规划二.环境准备所有机器禁用seinux,firewalld 所有机器相互ping通/etc/hosts 配置主机名解析: vim /etc/hosts 192.16 ...

【大数据】Linkis如何安装部署，及一些常见问题