Kylin安装,基于版本1.6.0,Kylin只有单机没有集群,
使用apache-kylin-1.6.0-hbase1.x-bin.tar.gz安装包。

1.安装规划

角色规划 IP/机器名 安装软件 运行进程
Kylin zdh-9 Kylin Kylin

2.安装依赖

Hadoop: 2.4+
Hive: 0.13+
HBase: 0.98+, 1.x
JDK: 1.7+

3.当前安装依赖的环境

Hadoop: hdfs/zdh1234 集群:zdh-7,zdh-9,zdh-11 版本:hadoop-2.7.1
Hive: hive/zdh1234 单机:zdh-9 版本:hive-2.1.0
Hbase: hbase/zdh1234 集群:zdh-7,zdh-9,zdh-11 版本:hbase-1.1.5
Jdk: root/zdh1234 单机:zdh-9 版本:jdk1.7.0_80
说明:Hive使用Mysql存放元数据

4.安装用户

kylin/zdh1234
useradd -g hadoop -s /bin/bash -md /home/kylin kylin

5.获取并且解压安装包

Kylin Download
tar -zxvf apache-kylin-1.6.0-hbase1.x-bin.tar.gz

6.设置Kylin的环境变量

export JAVA_HOME=/usr/java/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export KYLIN_HOME=/home/kylin/apache-kylin-1.6.0-hbase1.x-bin
export PATH=$PATH:$KYLIN_HOME/binexport HADOOP_HOME=/home/hdfs/hadoop-2.7.1
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATHexport HBASE_HOME=/home/hbase/hbase-1.1.5
export PATH=$PATH:$HBASE_HOME/binexport HIVE_HOME=/home/hive/apache-hive-2.1.0-bin
export HIVE_CONF=$HIVE_HOME/conf
export HCAT_HOME=$HIVE_HOME/hcatalog
export PATH=$PATH:$HIVE_HOME/bin

7.检查安装环境

执行如下命令,查看是否满足Kylin的安装依赖:
check-env.sh
kylin需要对hdfs,hbase,hive的执行权限,
如果没有,需要新增权限,包括下面的子目录:

chmod -R g+rwx hive/
drwx------.  4 kylin  hadoop     4096 4月  12 15:03 kylin
drwxr-x---.  5 hbase  hadoop     4096 4月  12 13:37 hbase
drwxr-x---.  9 hdfs   hadoop     4096 4月  12 13:36 hdfs
drwxr-xr-x.  5 hive   hadoop     4096 4月  12 14:51 hive

特别的,kylin对于hive目录还需要写权限。

8.启动Kylin

kylin.sh start
停止kylin
kylin.sh stop

9.登陆Kylin的Web页面

http://zdh-9:7070/kylin
用户名密码 ADMIN/KYLIN

10.使用Kylin自带cube示例验证

10.1

执行sample.sh,并且重启kylin。

10.2

登陆web页面,选中learn_kylin工程,
构建cube,选中Models的kylin_sales_cube, 点击Actions -> Build
在monitor页面下查看构建进度,达到100%即可。

10.3

在Insight页面下执行sql查询:

select part_dt, sum(price) as total_selled, count(distinct seller_id) as sellers from kylin_sales group by part_dt order by part_dt

可以在hive里面执行上面的sql,比较查询花费的时间。

11.问题解决

11.1.无法访问Hadoop JobHistory

java.io.IOException: java.net.ConnectException: Call From master/192.168.182.100 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

在zdh-9上面的hdfs用户下配置Hadoop jobhistory启动即可

11.2.安全检查失败

org.apache.hadoop.hbase.DoNotRetryIOException: org.apache.hadoop.hbase.DoNotRetryIOException: java.net.UnknownHostException: gagcluster Set hbase.table.sanity.checks to false at conf or table descriptor if you want to bypass sanity checks

修改hbase-site.xml文件中的配置项
hbase.table.sanity.checks的值为false:

<property><name>hbase.table.sanity.checks</name><value>false</value>
</property>

将hadoop的配置文件core-site.xml和hdfs-site.xml拷贝到hbase的conf目录下启动正常

11.3.hbase拷贝报错

Caused by: java.lang.IllegalArgumentException: Wrong FS: hdfs://gagcluster/kylin/kylin_metadata/kylin-ec90975d-2af0-4d06-a8c5-8d31b80b77a9/kylin_sales_cube/hfile/F2/7c91c1e5e24547bcbe2a8791c7b96861, expected: hdfs://10.43.159.7:9000

修改hbase-site.xml的配置项如下:

<property><name>hbase.rootdir</name><value>hdfs://gagcluster/hbase</value>
</property>

11.4.Kylin无法启动

报错,一些表找不到
然后发现hbase启动异常
使用habse shell命令list表,失败
发现hbase有异常日志,有一个节点由于时间不同步无法启动,
把集群时间同步之后在重新启动即可。

12.参考文章

Kylin Installation Guide

Kylin安装Version1.6.0相关推荐

  1. Kafka集群安装Version1.0.1(自带Zookeeper)

    1.说明 Kafka集群安装,基于版本1.0.1, 使用kafka_2.12-1.0.1.tgz安装包, 其中2.12是编译工具Scala的版本. 而且不需要另外安装Zookeeper服务, 使用Ka ...

  2. Storm集群安装Version1.0.1开启Kerberos

    Storm集群安装,基于版本1.0.1, 同时开启Kerberos安全认证, 使用apache-storm-1.0.1.tar.gz安装包. 1.安装规划 角色规划 IP/机器名 安装软件 运行进程 ...

  3. 麒麟Kylin V10 桌面版源码编译安装Qt5.6.0

    麒麟Kylin V10 桌面版源码编译安装Qt5.6.0 硬件环境:PHYTIUM FT-2000/4开发板 系统环境:Kylin V10 Desktop 系统 安装包下载:自己所需版本 解压 相关依 ...

  4. Kylin安装,Kylin网页版教程学习

    25 Kylin安装 参考网址: http://kylin.apache.org/cn/docs/tutorial/web.html http://kylin.apache.org/cn/docs23 ...

  5. Ubuntu14.04 kylin 安装配置Tomcat7服务器

    2019独角兽企业重金招聘Python工程师标准>>> Ubuntu14.04 kylin 安装配置Tomcat7服务器: 放入当前登录用户根目录: ~ 1.依旧是解压 tar –x ...

  6. 分布式大数据多维分析(OLAP)引擎Apache Kylin安装配置及使用示例

    原文地址:http://lxw1234.com/archives/2016/04/643.htm Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(O ...

  7. Hbase集群安装Version1.1.5

    Hbase集群安装,基于版本1.1.5, 使用hbase-1.1.5.tar.gz安装包. 1.安装说明 使用外部Zookeeper集群而非Hbase自带zookeeper, 使用Hadoop文件系统 ...

  8. 分布式大数据多维分析(OLAP)引擎Apache Kylin安装配置及使用示例【转】

    Kylin 麒麟官网:http://kylin.apache.org/cn/download/ 关键字:olap.Kylin Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的 ...

  9. Kylin安装与使用

    目录 一.Kylin概述 二.Kylin机构 三.Kylin特点 四.安装 4.1 Kylin依赖环境 4.2 Kylin搭建 4.3 Kylin兼容性问题 4.4 Kylin启动 五.Kylin C ...

最新文章

  1. 1045 快速排序 (25分)
  2. 每日一皮:昨晚梦见男朋友和别的女人在逛街,梦里我的第一反应就是查源代码......
  3. 提高代码质量:如何编写函数
  4. 如何使用 Go 语言搭建企业级高并发服务器?
  5. svn服务器搭建-SuSE Linux Enterprise Server 11 SP3
  6. 神经网络中激励函数的作用
  7. 【环境】NVIDIA驱动安装+cuda11.0(ubuntu16.04)
  8. virtualbox下安装雪豹10.6系统(AMD下亲测成功)
  9. 人像图片Relight
  10. 使用GameMaker中用于碰撞检测的脚本小记
  11. 批处理登陆邮箱代码分析
  12. 生活中的统计概率思维
  13. 5 爬虫 异步协程 梨视频
  14. php 分数大于80 小于90优,“ 90 分改成 80 分”学生期末成绩须“正态分布”?不必搞一刀切...
  15. 欢迎大家关注博主微信公众号
  16. python字典经典例题_Python小白--------基础练习题(列表,元组,字典)
  17. Chapter2、HDR流水线
  18. 【工具】60 个相见恨晚的神器工具
  19. Debian安装Python简要说明
  20. 长波猝灭剂QSY 21NHS,304014-13-9,QSY21 活性酯特点有哪些

热门文章

  1. Selector#wakeup()
  2. 02.规划过程组表格-质量管理计划
  3. jquery分页插件的修改
  4. 浅谈数据结构-二叉排序树
  5. Sublime Text 2 快捷键用法大全
  6. JS-节点增删改-document-HTML DOM-事件
  7. 计算机网络「二」—— 物理层(多图详解)
  8. LeetCode--33. 搜索旋转排序数组(二分法)
  9. Linux驱动(5)--关于Bootloader
  10. java继承原理内存角度_Java编程的逻辑 (17) - 继承实现的基本原理