Kylin 安装以及spark cube 的创建

一．准备
下载kylin安装包
http://www.apache.org/dyn/closer.cgi/kylin/apache-kylin-2.2.0/apache-kylin-2.2.0-bin-hbase1x.tar.gz

二．环境
1. Hadoop: 2.7+
Hive: 0.13 - 1.2.1+
HBase: 0.98 - 0.99, 1.1+
JDK: 1.7+
2. hdp2.4或hdp2.5
三．安装过程
1. 上传安装包 /opt/apache-kylin-2.2.0-bin-hbase1x.tar.gz，并解压
2. 配置KYLIN_HOME环境变量，修改/etc/profile
KYLIN_HOME=/opt/apache-kylin-2.2.0-bin
PATH=PATH:KYLIN_HOME/bin
3. run check-env.sh 检查环境，
4. 执行 kylin.sh start ，没有error，就可以访问http://:7070/kylin，初始账号ADMIN/KYLIN
5. 如果不使用spark引擎，安装的上一步即可，若配置spark引擎需要进行以下操作
1) 连接关于spark的配置文件（或拷贝）

mkdir $KYLIN_HOME/hadoop-conf
ln -s /etc/hadoop/conf/core-site.xml $KYLIN_HOME/hadoop-conf/core-site.xml
ln -s /etc/hadoop/conf/hdfs-site.xml $KYLIN_HOME/hadoop-conf/hdfs-site.xml
ln -s /etc/hadoop/conf/yarn-site.xml $KYLIN_HOME/hadoop-conf/yarn-site.xml
ln -s /etc/hbase/2.4.0.0-169/0/hbase-site.xml $KYLIN_HOME/hadoop-conf/hbase-site.xml
cp /etc/hive/2.4.0.0-169/0/hive-site.xml $KYLIN_HOME/hadoop-conf/hive-site.xml

2) 编辑hive-site.xml

vi $KYLIN_HOME/hadoop-conf/hive-site.xml (change "hive.execution.engine" value from "tez" to "mr")

3) 编辑 $KYLIN_HOME/conf/kylin.properties，修改属性

kylin.env.hadoop-conf-dir=/usr/local/apache-kylin-2.1.0-bin-hbase1x/hadoop-conf

4) spark引擎用的是 kylin 自带的spark1.6，所以还需要修改一些spark参数，vi $KYLIN_HOME/conf/kylin.properties 下面的参数默认是注释的，需要取消注释(特别注意红色字体部分)，

kylin.engine.spark-conf.spark.executor.memry 和kylin.engine.spark-conf.spark.executor.cores 可以根据环境适量调大
kylin.engine.spark-conf.spark.master=yarn
kylin.engine.spark-conf.spark.submit.deployMode=cluster
kylin.engine.spark-conf.spark.yarn.queue=default
kylin.engine.spark-conf.spark.executor.memory=1G
kylin.engine.spark-conf.spark.executor.cores=2
kylin.engine.spark-conf.spark.executor.instances=1
kylin.engine.spark-conf.spark.eventLog.enabled=true
kylin.engine.spark-conf.spark.eventLog.dir=hdfs\:///kylin/spark-history
kylin.engine.spark-conf.spark.history.fs.logDirectory=hdfs\:///kylin/spark-history#kylin.engine.spark-conf.spark.io.compression.codec=org.apache.spark.io.SnappyCompressionCodec## uncomment for HDP
kylin.engine.spark-conf.spark.driver.extraJavaOptions=-Dhdp.version=current
kylin.engine.spark-conf.spark.yarn.am.extraJavaOptions=-Dhdp.version=current
kylin.engine.spark-conf.spark.executor.extraJavaOptions=-Dhdp.version=current

四．可能会出现的问题
只要严格按照配置文档或者官网，不会出现问题。
五．参考文档
Installation Guide: https://kylin.apache.org/docs21/install/index.html
Create Spark Cube: https://kylin.apache.org/docs21/tutorial/cube_spark.html

本文出自“筱Mary”博客，转载请务必保留此处
http://blog.csdn.net/qq_31382921/article/

Kylin 安装以及spark cube 的创建相关推荐

Apache Kylin原理学习之Cube的创建与Build
原文地址:http://lxw1234.com/archives/2016/05/655.htm Cube是一种典型的多维数据分析技术,一个Cube可以有多个事实表,多个维表构成.如果您还不了解这些概 ...
Kyin学习笔记（一）-----Kylin安装、入门案例和原理介绍
目录一.Kylin简介 1.Kylin的诞生背景 2.Kylin的应用场景 3.为什么要使用Kylin 4.Kylin的总体架构二.Kylin安装 1.依赖环境 2.集群规划 3.安装kylin- ...
kylin linux 安装教程,新手入门必备：kylin安装教程介绍！
1. 背景最近在学习kylin,在安装的时候遇到一些坑,特意记录起来,也希望同样在学习kylin的人,少踩一些坑(要是连安装都过不去,还怎么学!!!). 2. 环境我选的kylin版本是1.5.4 ...
Kylin安装，Kylin网页版教程学习
25 Kylin安装参考网址: http://kylin.apache.org/cn/docs/tutorial/web.html http://kylin.apache.org/cn/docs23 ...
分布式大数据多维分析（OLAP）引擎Apache Kylin安装配置及使用示例
原文地址:http://lxw1234.com/archives/2016/04/643.htm Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(O ...
分布式大数据多维分析（OLAP）引擎Apache Kylin安装配置及使用示例【转】
Kylin 麒麟官网:http://kylin.apache.org/cn/download/ 关键字:olap.Kylin Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的 ...
使用docker安装部署Spark集群来训练CNN（含Python实例）
使用docker安装部署Spark集群来训练CNN(含Python实例) 本博客仅为作者记录笔记之用,不免有很多细节不对之处. 还望各位看官能够见谅,欢迎批评指正. 博客虽水,然亦博主之苦劳也. 如需 ...
kylin安装过程问题排查
问题:日志报错:/usr/local/apps/kylin/tomcat/conf/.keystore (没有那个文件或目录) 解决:在kylin内置tomcat的server.xml中里边有个对ht ...
Kylin安装Version1.6.0
Kylin安装,基于版本1.6.0,Kylin只有单机没有集群, 使用apache-kylin-1.6.0-hbase1.x-bin.tar.gz安装包. 1.安装规划角色规划 IP/机器名安装软 ...

Kylin 安装以及spark cube 的创建

Kylin 安装以及spark cube 的创建相关推荐

最新文章

热门文章