点击上方蓝字关注

写在前面】前段时间因为项目需要,使用了一段时间的kylin进行多维数据分析。从kylin单机/分布式部署、事实表维度表设计、再到cube优化和调度等全都亲手实操了一遍。过程中的所得,想通过文章来记录一下。

start

01

Kylin安装前准备

如果想在自己的本机上安装kylin,那么做一些前置软件的安装是必不可少的。我在项目生产环境安装之前,都是在本机虚拟机上先进行安装测试,先踩踩坑,才能更好地知道一些注意点。下面罗列一下需要安装的软件列表(以我安装的软件版本为例):

  • VmwareWork_V12.5.7.rar

  • CentOS-6.8-x86_64-bin-DVD.iso

  • Xshell-6.0.0193p.exe

  • Xftp-6.0.0187p.exe

  • jdk-8u231-linux-x64.tar.gz

  • hadoop-2.6.0-cdh5.9.3.tar.gz

  • hive-1.1.0-cdh5.9.3.tar.gz

  • MySQL-server-5.1.73-1.glibc23.x86_64.rpm

  • MySQL-client-5.1.73-1.glibc23.x86_64.rpm

  • hbase-1.2.0-cdh5.9.3.tar.gz

  • zookeeper-3.4.5-cdh5.9.3.tar.gz

将上述的压缩包安装完毕后,环境的准备工作就差不多了,具体的各个安装教程我想在后续有空的时候慢慢补充上来。如果有小伙伴也想实践,可以搜索下方链接进行下载,网络上有很多教程,我觉得安装问题都不大。

  • https://archive.cloudera.com/cdh5/cdh/5/

02

Kylin单机部署

虚拟机的环境准备完成以后,正式进入安装阶段啦~

对了,安装的kylin版本是:apache-kylin-3.0.0-bin-cdh57.tar.gz,直接在kylin的官网上下载即可。官网上有很多教程和使用说明,可以先看看官网的介绍再来看下面的内容可能会更好。

2.1 安装步骤

1)执行如下安装命令:

## -C  后面的参数是想要安装在哪个文件夹路径,可以自己先行创建tar -zxvf apache-kylin-3.0.0-bin-cdh57.tar.gz -C /hadoop1/

2)解压完成后,去修改配置文件:

## (1)添加环境变量 vi /etc/profile

##(2)打开后,复制如下的代码到profile中#----------------------------------------------------------------## JAVA_HOMEexport JAVA_HOME=/hadoop1/jdk1.8.0_231export PATH=$PATH:$JAVA_HOME/bin## HADOOP_HOMEexport HADOOP_HOME=/hadoop1/hadoop-2.6.0export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin## HIVE_HOMEexport HIVE_HOME=/hadoop1/hive-1.1.0-cdh5.9.3export PATH=$PATH:$HIVE_HOME/bin## HBASE_HOMEexport HBASE_HOME=/hadoop1/hbase-1.2.0-cdh5.9.3export PATH=$PATH:$HBASE_HOME/bin## HCAT_HOMEexport HCAT_HOME=/hadoop1/hive-1.1.0-cdh5.9.3/hcatalog/share/hcatalog## KYLIN_HOMEexport KYLIN_HOME=/hadoop1/apache-kylin-3.0.0-bin-cdh57export PATH=$PATH:$KYLIN_HOME/bin#----------------------------------------------------------------## (3)wq保存退出后,别忘记生效配置source /etc/profile

3)切换到kylin安装目录,去conf文件夹中修改kylin.properties:

## 修改的第1处,其中IP:192.168.140.134要替换成自己的虚拟机IPkylin.server.cluster-servers=192.168.140.134:7070  ## 修改的第2处kylin.server.mode=all## 修改的第3处kylin.web.timezone=GMT+8## 接着复制添加如下内容,其中IP:192.168.140.134要替换成自己的虚拟机IPkylin.job.jar=/hadoop1/apache-kylin-3.0.0-bin-cdh57/lib/kylin-job-3.0.0.jarkylin.coprocessor.local.jar=/hadoop1/apache-kylin-3.0.0-bin-cdh57/lib/kylin-coprocessor-3.0.0.jarkylin.job.yarn.app.rest.check.status.url=http://192.168.140.134:8088/ws/v1/cluster/apps/${job_id}?anonymous=true

4)接着修改bin目录下的kylin.sh:因为没有安装kafka和saprk,所以注释掉这两个的依赖检查,如下:

## 仅截取其中的部分代码function retrieveDependency() {    #retrive $hive_dependency and $hbase_dependency    if [[ -z $reload_dependency && `ls -1 ${dir}/cached-* 2>/dev/null | wc -l` -eq 5 ]]    then        echo "Using cached dependency..."        source ${dir}/cached-hive-dependency.sh        source ${dir}/cached-hbase-dependency.sh        source ${dir}/cached-hadoop-conf-dir.sh        #source ${dir}/cached-kafka-dependency.sh        #source ${dir}/cached-spark-dependency.sh    else        source ${dir}/find-hive-dependency.sh        source ${dir}/find-hbase-dependency.sh        source ${dir}/find-hadoop-conf-dir.sh        #source ${dir}/find-kafka-dependency.sh        #source ${dir}/find-spark-dependency.sh    fi

5)接着将hbase中的hbase-site.xml复制一份到kylin的conf下,并且去掉2181端口号,只留主机名,如下图所示:

2.2 启动测试

1)修改完配置文件以后,进行kylin的启动和测试。

## 使用如下启动命令集群和kylin/hadoop1/hadoop-2.6.0/sbin/start-dfs.sh   /hadoop1/hadoop-2.6.0/sbin/mr-jobhistory-daemon.sh start historyserver/hadoop1/hadoop-2.6.0/sbin/start-yarn.sh/hadoop1/zookeeper-3.4.5-cdh5.10.0/sbin/zkServer.sh start /hadoop1/hbase-1.2.0-cdh5.9.3/bin/start-hbase.sh/hadoop1/apache-kylin-3.0.0-bin-cdh57/bin/kylin.sh starthive --service metastore &

2)打开浏览器,输入主机:7070/kylin,即可出现如下登录页面:

输入账号和密码ADMIN, KYLIN就可以使用官方自带的例子进行测试啦。更详细的测试过程我想放在后面写基于生产环境的单机/分布式kyin部署时再来记录。如果有相同兴趣的小伙伴可以借鉴并亲手实践一下,文中也可能写的不那么详细,也可能有没注意的错误,都欢迎大家批评指正和交流!

end

kylin版本_kylin多维数据分析(一)单机部署相关推荐

  1. kylin版本_Kylin配置Spark并构建Cube

    每一个成功人士的背后,必定曾经做出过勇敢而又孤独的决定. 放弃不难,但坚持很酷~ HDP 版本:2.6.4.0 Kylin 版本:2.5.1 机器说明:三台 CentOS-7,8G 内存 Kylin ...

  2. 什么是腾讯蓝鲸运维体系?附部署指南

    腾讯蓝鲸智云是一个高效的运维基础服务自动化体系,拥有支撑数百款腾讯业务的经验沉淀,是一个相对成熟稳定的运维系统. 简而言之,基于蓝鲸这套体系,你可以很方便地管控多个主机.执行作业.监控其运行状态. 此 ...

  3. 【转】使用Apache Kylin搭建企业级开源大数据分析平台

    http://www.thebigdata.cn/JieJueFangAn/30143.html 本篇文章整理自史少锋4月23日在『1024大数据技术峰会』上的分享实录:使用Apache Kylin搭 ...

  4. Java job interview:项目架构研发使用Apache Kylin搭建企业级开源大数据分析平台

    Kylin(麒麟)是什么?我们听到过有麒麟芯片.麒麟OS等等,我们这个全名是叫Apache Kylin,是一个大数据分析的项目. 从名字上或许可以猜到,它来自中国,的确这也是我们想让世界知道的,有一群 ...

  5. 【商务智能】数据仓库 ( 多维数据模型 | 多维数据分析 )

    商务智能系列文章目录 [商务智能]数据预处理 [商务智能]数据仓库 ( 多维数据模型 | 多维数据分析 ) 文章目录 商务智能系列文章目录 前言 一.数据仓库 与 传统数据库 区别 二.数据仓库系统体 ...

  6. ppt扇形图怎么显示数据_前方高能!多维数据分析的神器雷达图PPT制作教程来啦!...

    数据的可视化呈现,是最近几年的一个热门词,尤其是在各种PPT的制作中,观看者越来越希望通过简单直接的方式了解到数据背后的深刻含义,因此,之前我们也专门为大家分享了为什么要在PPT里去做数据的可视化呈现 ...

  7. python多维数据分析_使用python进行数据分析

    Life is short, I use python! 1 python中常用的数据分析包 2 python:一维数据分析 2.1 用numpy包进行一维数据分析 import numpy as n ...

  8. Ubuntu Kylin使用docker单机部署Fate联邦学习框架

    Ubuntu Kylin使用docker单机部署Fate联邦学习框架 Fate联邦学习框架分为单机部署和集群部署,本文是在Ubuntu Kylin上使用docker单机部署Fate联邦学习框架,具体环 ...

  9. 多维度雷达图怎么做_前方高能!多维数据分析的神器雷达图PPT制作教程来啦!...

    数据的可视化呈现,是最近几年的一个热门词,尤其是在各种PPT的制作中,观看者越来越希望通过简单直接的方式了解到数据背后的深刻含义,因此,之前我们也专门为大家分享了 什么是雷达图 雷达图又被称为蜘蛛网图 ...

最新文章

  1. 编译内核指定模块,筛选当前模块依赖的组件
  2. java中最常用jar包的用途说明,适合初学者
  3. C++拾趣——有趣的操作符重载
  4. 在Powerpoint中插入Flash的方法
  5. 3.1.8 具有快表的地址变换机构
  6. MySQL 8.0开始Group by不再排序
  7. 动态获取textarea后面的p标签_HTML简单标签连起实现的小玩意:
  8. 算术编码原理与实现【转载】
  9. R系列处理器是服务器,AMD全新R系列处理器领军嵌入式高性能领域
  10. 对于长时间装载的ASP.NET页面如何在客户端浏览器中显示进度?
  11. C#注册Email发送验证码详解
  12. 计算机工程与应用期刊模板,计算机工程与应用 论文模板
  13. 英语作文框架(四级)
  14. NANK南卡lite Pro无线蓝牙耳机上手体验
  15. MacOS下qt签名与公证
  16. 机房收费管理之数据源配置
  17. 【论文分享】一个用于现代cpu的多正则表达式匹配器:Hyperscan: A Fast Multi-pattern Regex Matcher for Modern CPUs
  18. 2022计算机保研夏令营记录
  19. 我的第一个个人网站,对话生成器
  20. html 花瓣飘落效果,html全屏花瓣掉落特效

热门文章

  1. 从本地文件系统迁移oracle数据库到ASM
  2. 12.04 安装svn
  3. oracle 10g的安装配置
  4. .Net控件Telerik全套下载:Telerik Controls 2010 Q2 (附加DLL文件+源码)
  5. 1208. 尽可能使字符串相等
  6. 【免费毕设】asp.net FTP客户端设计与开发 (源代码+lunwen)
  7. node mysql 搭建博客_node.js+Hexo+Git搭建个人博客
  8. python 网络编程模块_Python网络编程之socket模块
  9. 学python电脑硬件_2020 python学习第一天————编程语言及计算机介绍
  10. lisp 任意点 曲线距离_递归、分治、分类和最小距离点对的autolisp实现