kylin3.x安装,解决load hive表的时候提示shaded-guava问题
3Kylin安装
3.1下载kylin
访问:http://kylin.apache.org/download/,下载kylin,如下:
将上面的apache-kylin-3.0.1-bin-hadoop3.tar.gz放到hadoop5上的:/home/admin/kylin 中。(若没有此目录,创建此目录)
3.2安装kylin
进入kylin包所在的位置
[root@hadoop4 kylin]# cd /home/admin/kylin
[root@hadoop4 kylin]# tar -zxvf apache-kylin-3.0.1-bin-hadoop3.tar.gz
添加环境变量
[root@hadoop4 kylin]# cd ~
[root@hadoop4 ~]# vim .bashrc
添加:
export KYLIN_HOME=/home/kylin/apache-kylin-2.6.5-bin-hadoop3
export SPARK_HOME=/usr/hdp/current/spark2-client
export HIVE_CONF=/etc/hive/conf
export HCAT_HOME=/usr/hdp/current/hive-webhcat
最后source .bashrc
修改find-hive-dependency.sh (位置:$KYLIN_HOME/bin)
[root@hadoop4 bin]# vim find-hive-dependency.sh#hive_env=`hive ${hive_conf_properties} -e set 2>&1 | grep 'env:CLASSPATH'`
hive -e set >/tmp/hive_env.txt 2>&1
hive_env=`grep 'env:CLASSPATH' /tmp/hive_env.txt`
hive_env=`echo ${hive_env#*env:CLASSPATH}`
hive_env="env:CLASSPATH"${hive_env}
修改kylin.properties(位置:$KYLIN_HOME/conf)
修改内容:
kylin.metadata.url=bigdata
kylin.env.zookeeper-connect-string=hadoop6:2181,hadoop5:2181,hadoop4:2181
修改kylin_hive_conf.xml
还有:mapreduce.job.split.metainfo.maxsize这个属性也注释掉
Ambari中修改hdfs中的以下参数配置:
${KYLIN_HOME}/tomcat/conf/.keystore (没有那个文件或目录)
解决方法:在kylin内置tomcat的server.xml中里边有个对https的支持那一段没启用的话 注释掉
<Connector port="7443" protocol="org.apache.coyote.http11.Http11Protocol"maxThreads="150" SSLEnabled="true" scheme="https" secure="true"keystoreFile="conf/.keystore" keystorePass="changeit"clientAuth="false" sslProtocol="TLS" />
进入bin目录下创建bigdata文件夹,否则会报错
[root@hadoop4 bin]# cd $KYLIN_HOME/bin
[root@hadoop4 bin]# mkdir bigdata
[root@hadoop4 bin]# cd $KYLIN_HOME
[root@hadoop4 bin]# mkdir bigdata
找到:kylin-shaded-guava-3.1.0-SNAPSHOT.jar和guava-28.0-jre.jar,并将之放到/home/admin/kylin/apache-kylin-3.1.0-bin-hadoop3/lib下。
找到:kylin-shaded-guava-3.1.0-SNAPSHOT.jar和guava-28.0-jre.jar,并将之放到/home/admin/kylin/apache-kylin-3.1.0-bin-hadoop3/tomcat/lib下。
将commons-configuration-1.10.jar放到:$KYLIN_HOME/tomcat/lib
最后,启动kylin
[root@hadoop5 lib]# cd $KYLIN_HOME/bin./kylin.sh start
登录:http://hadoop5:7070/kylin/login 名初始用户名和密码是ADMIN/KYLIN.
kylin3.x安装,解决load hive表的时候提示shaded-guava问题相关推荐
- hive表分区上传数据出现的一个问题及解决思路
hive表分区用load上传数据时, 出现了 报错: Failed with exception MetaException(message:For direct MetaStore DB conne ...
- 往hive表中插入与导出数据方式load ,insert ,sqoop 等方式详解
往hive数据仓库的表中导入数据,可以直接insert ,也可以选择load方式.当然也可以通过第三方工具如sqoop等将数据导入到hive当初.特别注意:hive虽然不会验证用户装载的数据和表的模式 ...
- hive 导入hdfs数据_将数据加载或导入运行在基于HDFS的数据湖之上的Hive表中的另一种方法。
hive 导入hdfs数据 Preceding pen down the article, might want to stretch out appreciation to all the well ...
- 新的比较详细的hive安装教程,包含:hadoop的安装配置,hive安装详细教程,大数据下hive详细配置和简单使用和hive元数据迁移相关安装配置操作
简介:这是大数据里安装hive比较详细的教程,包括安装hive时hadoop的相关配置,hive安装,hive 之后的mysql安装,hive的元素配置到mysql相关配置,hive常见属性的相关配置 ...
- 大数据开发实战:Hive表DDL和DML
1.Hive 表 DDL 1.1.创建表 Hive中创建表的完整语法如下: CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [ (col_nam ...
- hive表指定分区字段搜索_Spark SQL解析查询parquet格式Hive表获取分区字段和查询条件...
首先说一下,这里解决的问题应用场景: sparksql处理Hive表数据时,判断加载的是否是分区表,以及分区表的字段有哪些?再进一步限制查询分区表必须指定分区? 这里涉及到两种情况:select SQ ...
- spark sql 查看分区_Spark SQL解析查询parquet格式Hive表获取分区字段和查询条件
首先说一下,这里解决的问题应用场景: sparksql处理Hive表数据时,判断加载的是否是分区表,以及分区表的字段有哪些?再进一步限制查询分区表必须指定分区? 这里涉及到两种情况:select SQ ...
- HiveQL学习笔记(三):Hive表连接
本系列是本人对Hive的学习进行一个整理,主要包括以下内容: 1.HiveQL学习笔记(一):Hive安装及Hadoop,Hive原理简介 2.HiveQL学习笔记(二):Hive基础语法与常用函数 ...
- HiveQL学习笔记(一):Hive安装及Hadoop,Hive原理简介
本系列是本人对Hive的学习进行一个整理,主要包括以下内容: 1.HiveQL学习笔记(一):Hive安装及Hadoop,Hive原理简介 2.HiveQL学习笔记(二):Hive基础语法与常用函数 ...
最新文章
- Nvidia黄仁勋发布了全球最大GPU
- 如何站在期刊角度上看论文写作
- 多线程相互排斥--mutex(二)
- 项目中使用RDLC报表
- 带你搞明白什么是缓存穿透、缓存击穿、缓存雪崩
- matlab 性能分析方法,DPCM,PSK系统的MATLAB实现及性能分析
- ios 通过kvc修改属性会触发kvo_iOS开发-KVC和KVO的理解
- 【库安装】windows下Python安装protobuf
- 数学逻辑习题集(2)
- ucore Lab2 物理内存管理
- 自定义 Excel 自动填充快捷键
- 解决双蛋问题的C代码实现
- echart实现地球外环绕卫星效果
- 创建Hello world
- Asus Prime B360M-A+i5-8400+RX 570 黑苹果efi引导文件
- 即将公布的2020年10m分辨率全球土地利用数据(欧空局出品)
- 利用编程游戏来学习编程
- 计算机大二学什么,本科计算机科学与技术大二下学期学什么,女的适合什么专业好...
- 机遇与风险并存,新手棋牌创业需谨慎
- 三星 android,三星S系列盘点:安卓阵营风向标 机皇的前世今生
热门文章
- idea无法找到主启动类_idea 启动springboot项目报找不到主类
- 软件开发架构介绍||OSI七层协议之物理层、数据链路层、网络层、传输层(mac地址、ip协议、断开协议、tcp协议之三次握手四次挥手)
- python中csv文件的读写
- pyqt5讲解3:QComboBox,QSpinBox,QSlider
- opencv学习笔记18:canny算子边缘检测原理及其函数使用
- Python基本图形绘制之“蟒蛇绘制”
- wxWidgets:wxCloseEvent类用法
- wxWidgets:文档/视图框架
- boost::sort模块实现相关的浮点排序测试
- boost::math模块使用 Brent 方法求函数最小值的示例