3Kylin安装

3.1下载kylin

访问:http://kylin.apache.org/download/,下载kylin,如下:

将上面的apache-kylin-3.0.1-bin-hadoop3.tar.gz放到hadoop5上的:/home/admin/kylin 中。(若没有此目录,创建此目录)

3.2安装kylin

进入kylin包所在的位置

[root@hadoop4 kylin]# cd /home/admin/kylin
[root@hadoop4 kylin]# tar -zxvf apache-kylin-3.0.1-bin-hadoop3.tar.gz

添加环境变量

[root@hadoop4 kylin]# cd ~
[root@hadoop4 ~]# vim .bashrc

添加:

export KYLIN_HOME=/home/kylin/apache-kylin-2.6.5-bin-hadoop3
export SPARK_HOME=/usr/hdp/current/spark2-client
export HIVE_CONF=/etc/hive/conf
export HCAT_HOME=/usr/hdp/current/hive-webhcat

最后source .bashrc

修改find-hive-dependency.sh (位置:$KYLIN_HOME/bin)

[root@hadoop4 bin]# vim find-hive-dependency.sh#hive_env=`hive ${hive_conf_properties} -e set 2>&1 | grep 'env:CLASSPATH'`
hive -e set >/tmp/hive_env.txt 2>&1
hive_env=`grep 'env:CLASSPATH' /tmp/hive_env.txt`
hive_env=`echo ${hive_env#*env:CLASSPATH}`
hive_env="env:CLASSPATH"${hive_env}


修改kylin.properties(位置:$KYLIN_HOME/conf)

修改内容:

kylin.metadata.url=bigdata
kylin.env.zookeeper-connect-string=hadoop6:2181,hadoop5:2181,hadoop4:2181

修改kylin_hive_conf.xml

还有:mapreduce.job.split.metainfo.maxsize这个属性也注释掉

Ambari中修改hdfs中的以下参数配置:

${KYLIN_HOME}/tomcat/conf/.keystore (没有那个文件或目录)
解决方法:在kylin内置tomcat的server.xml中里边有个对https的支持那一段没启用的话 注释掉

<Connector port="7443" protocol="org.apache.coyote.http11.Http11Protocol"maxThreads="150" SSLEnabled="true" scheme="https" secure="true"keystoreFile="conf/.keystore" keystorePass="changeit"clientAuth="false" sslProtocol="TLS" />

进入bin目录下创建bigdata文件夹,否则会报错

[root@hadoop4 bin]# cd  $KYLIN_HOME/bin
[root@hadoop4 bin]# mkdir bigdata
[root@hadoop4 bin]# cd  $KYLIN_HOME
[root@hadoop4 bin]# mkdir bigdata

找到:kylin-shaded-guava-3.1.0-SNAPSHOT.jar和guava-28.0-jre.jar,并将之放到/home/admin/kylin/apache-kylin-3.1.0-bin-hadoop3/lib下。
找到:kylin-shaded-guava-3.1.0-SNAPSHOT.jar和guava-28.0-jre.jar,并将之放到/home/admin/kylin/apache-kylin-3.1.0-bin-hadoop3/tomcat/lib下。

将commons-configuration-1.10.jar放到:$KYLIN_HOME/tomcat/lib
最后,启动kylin

[root@hadoop5 lib]# cd $KYLIN_HOME/bin./kylin.sh start

登录:http://hadoop5:7070/kylin/login 名初始用户名和密码是ADMIN/KYLIN.

kylin3.x安装,解决load hive表的时候提示shaded-guava问题相关推荐

  1. hive表分区上传数据出现的一个问题及解决思路

    hive表分区用load上传数据时, 出现了 报错: Failed with exception MetaException(message:For direct MetaStore DB conne ...

  2. 往hive表中插入与导出数据方式load ,insert ,sqoop 等方式详解

    往hive数据仓库的表中导入数据,可以直接insert ,也可以选择load方式.当然也可以通过第三方工具如sqoop等将数据导入到hive当初.特别注意:hive虽然不会验证用户装载的数据和表的模式 ...

  3. hive 导入hdfs数据_将数据加载或导入运行在基于HDFS的数据湖之上的Hive表中的另一种方法。

    hive 导入hdfs数据 Preceding pen down the article, might want to stretch out appreciation to all the well ...

  4. 新的比较详细的hive安装教程,包含:hadoop的安装配置,hive安装详细教程,大数据下hive详细配置和简单使用和hive元数据迁移相关安装配置操作

    简介:这是大数据里安装hive比较详细的教程,包括安装hive时hadoop的相关配置,hive安装,hive 之后的mysql安装,hive的元素配置到mysql相关配置,hive常见属性的相关配置 ...

  5. 大数据开发实战:Hive表DDL和DML

    1.Hive 表 DDL 1.1.创建表 Hive中创建表的完整语法如下: CREATE [EXTERNAL] TABLE [IF NOT EXISTS]  table_name [ (col_nam ...

  6. hive表指定分区字段搜索_Spark SQL解析查询parquet格式Hive表获取分区字段和查询条件...

    首先说一下,这里解决的问题应用场景: sparksql处理Hive表数据时,判断加载的是否是分区表,以及分区表的字段有哪些?再进一步限制查询分区表必须指定分区? 这里涉及到两种情况:select SQ ...

  7. spark sql 查看分区_Spark SQL解析查询parquet格式Hive表获取分区字段和查询条件

    首先说一下,这里解决的问题应用场景: sparksql处理Hive表数据时,判断加载的是否是分区表,以及分区表的字段有哪些?再进一步限制查询分区表必须指定分区? 这里涉及到两种情况:select SQ ...

  8. HiveQL学习笔记(三):Hive表连接

    本系列是本人对Hive的学习进行一个整理,主要包括以下内容: 1.HiveQL学习笔记(一):Hive安装及Hadoop,Hive原理简介 2.HiveQL学习笔记(二):Hive基础语法与常用函数 ...

  9. HiveQL学习笔记(一):Hive安装及Hadoop,Hive原理简介

    本系列是本人对Hive的学习进行一个整理,主要包括以下内容: 1.HiveQL学习笔记(一):Hive安装及Hadoop,Hive原理简介 2.HiveQL学习笔记(二):Hive基础语法与常用函数 ...

最新文章

  1. Nvidia黄仁勋发布了全球最大GPU
  2. 如何站在期刊角度上看论文写作
  3. 多线程相互排斥--mutex(二)
  4. 项目中使用RDLC报表
  5. 带你搞明白什么是缓存穿透、缓存击穿、缓存雪崩
  6. matlab 性能分析方法,DPCM,PSK系统的MATLAB实现及性能分析
  7. ios 通过kvc修改属性会触发kvo_iOS开发-KVC和KVO的理解
  8. 【库安装】windows下Python安装protobuf
  9. 数学逻辑习题集(2)
  10. ucore Lab2 物理内存管理
  11. 自定义 Excel 自动填充快捷键
  12. 解决双蛋问题的C代码实现
  13. echart实现地球外环绕卫星效果
  14. 创建Hello world
  15. Asus Prime B360M-A+i5-8400+RX 570 黑苹果efi引导文件
  16. 即将公布的2020年10m分辨率全球土地利用数据(欧空局出品)
  17. 利用编程游戏来学习编程
  18. 计算机大二学什么,本科计算机科学与技术大二下学期学什么,女的适合什么专业好...
  19. 机遇与风险并存,新手棋牌创业需谨慎
  20. 三星 android,三星S系列盘点:安卓阵营风向标 机皇的前世今生

热门文章

  1. idea无法找到主启动类_idea 启动springboot项目报找不到主类
  2. 软件开发架构介绍||OSI七层协议之物理层、数据链路层、网络层、传输层(mac地址、ip协议、断开协议、tcp协议之三次握手四次挥手)
  3. python中csv文件的读写
  4. pyqt5讲解3:QComboBox,QSpinBox,QSlider
  5. opencv学习笔记18:canny算子边缘检测原理及其函数使用
  6. Python基本图形绘制之“蟒蛇绘制”
  7. wxWidgets:wxCloseEvent类用法
  8. wxWidgets:文档/视图框架
  9. boost::sort模块实现相关的浮点排序测试
  10. boost::math模块使用 Brent 方法求函数最小值的示例