kylin版本_kylin多维数据分析(一)单机部署
点击上方蓝字关注
【写在前面】:前段时间因为项目需要,使用了一段时间的kylin进行多维数据分析。从kylin单机/分布式部署、事实表维度表设计、再到cube优化和调度等全都亲手实操了一遍。过程中的所得,想通过文章来记录一下。
start
01
Kylin安装前准备
如果想在自己的本机上安装kylin,那么做一些前置软件的安装是必不可少的。我在项目生产环境安装之前,都是在本机虚拟机上先进行安装测试,先踩踩坑,才能更好地知道一些注意点。下面罗列一下需要安装的软件列表(以我安装的软件版本为例):
VmwareWork_V12.5.7.rar
CentOS-6.8-x86_64-bin-DVD.iso
Xshell-6.0.0193p.exe
Xftp-6.0.0187p.exe
jdk-8u231-linux-x64.tar.gz
hadoop-2.6.0-cdh5.9.3.tar.gz
hive-1.1.0-cdh5.9.3.tar.gz
MySQL-server-5.1.73-1.glibc23.x86_64.rpm
MySQL-client-5.1.73-1.glibc23.x86_64.rpm
hbase-1.2.0-cdh5.9.3.tar.gz
zookeeper-3.4.5-cdh5.9.3.tar.gz
将上述的压缩包安装完毕后,环境的准备工作就差不多了,具体的各个安装教程我想在后续有空的时候慢慢补充上来。如果有小伙伴也想实践,可以搜索下方链接进行下载,网络上有很多教程,我觉得安装问题都不大。
https://archive.cloudera.com/cdh5/cdh/5/
02
Kylin单机部署
虚拟机的环境准备完成以后,正式进入安装阶段啦~
对了,安装的kylin版本是:apache-kylin-3.0.0-bin-cdh57.tar.gz,直接在kylin的官网上下载即可。官网上有很多教程和使用说明,可以先看看官网的介绍再来看下面的内容可能会更好。
2.1 安装步骤
1)执行如下安装命令:
## -C 后面的参数是想要安装在哪个文件夹路径,可以自己先行创建tar -zxvf apache-kylin-3.0.0-bin-cdh57.tar.gz -C /hadoop1/
2)解压完成后,去修改配置文件:
## (1)添加环境变量 vi /etc/profile
##(2)打开后,复制如下的代码到profile中#----------------------------------------------------------------## JAVA_HOMEexport JAVA_HOME=/hadoop1/jdk1.8.0_231export PATH=$PATH:$JAVA_HOME/bin## HADOOP_HOMEexport HADOOP_HOME=/hadoop1/hadoop-2.6.0export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin## HIVE_HOMEexport HIVE_HOME=/hadoop1/hive-1.1.0-cdh5.9.3export PATH=$PATH:$HIVE_HOME/bin## HBASE_HOMEexport HBASE_HOME=/hadoop1/hbase-1.2.0-cdh5.9.3export PATH=$PATH:$HBASE_HOME/bin## HCAT_HOMEexport HCAT_HOME=/hadoop1/hive-1.1.0-cdh5.9.3/hcatalog/share/hcatalog## KYLIN_HOMEexport KYLIN_HOME=/hadoop1/apache-kylin-3.0.0-bin-cdh57export PATH=$PATH:$KYLIN_HOME/bin#----------------------------------------------------------------## (3)wq保存退出后,别忘记生效配置source /etc/profile
3)切换到kylin安装目录,去conf文件夹中修改kylin.properties:
## 修改的第1处,其中IP:192.168.140.134要替换成自己的虚拟机IPkylin.server.cluster-servers=192.168.140.134:7070 ## 修改的第2处kylin.server.mode=all## 修改的第3处kylin.web.timezone=GMT+8## 接着复制添加如下内容,其中IP:192.168.140.134要替换成自己的虚拟机IPkylin.job.jar=/hadoop1/apache-kylin-3.0.0-bin-cdh57/lib/kylin-job-3.0.0.jarkylin.coprocessor.local.jar=/hadoop1/apache-kylin-3.0.0-bin-cdh57/lib/kylin-coprocessor-3.0.0.jarkylin.job.yarn.app.rest.check.status.url=http://192.168.140.134:8088/ws/v1/cluster/apps/${job_id}?anonymous=true
4)接着修改bin目录下的kylin.sh:因为没有安装kafka和saprk,所以注释掉这两个的依赖检查,如下:
## 仅截取其中的部分代码function retrieveDependency() { #retrive $hive_dependency and $hbase_dependency if [[ -z $reload_dependency && `ls -1 ${dir}/cached-* 2>/dev/null | wc -l` -eq 5 ]] then echo "Using cached dependency..." source ${dir}/cached-hive-dependency.sh source ${dir}/cached-hbase-dependency.sh source ${dir}/cached-hadoop-conf-dir.sh #source ${dir}/cached-kafka-dependency.sh #source ${dir}/cached-spark-dependency.sh else source ${dir}/find-hive-dependency.sh source ${dir}/find-hbase-dependency.sh source ${dir}/find-hadoop-conf-dir.sh #source ${dir}/find-kafka-dependency.sh #source ${dir}/find-spark-dependency.sh fi
5)接着将hbase中的hbase-site.xml复制一份到kylin的conf下,并且去掉2181端口号,只留主机名,如下图所示:
2.2 启动测试
1)修改完配置文件以后,进行kylin的启动和测试。
## 使用如下启动命令集群和kylin/hadoop1/hadoop-2.6.0/sbin/start-dfs.sh /hadoop1/hadoop-2.6.0/sbin/mr-jobhistory-daemon.sh start historyserver/hadoop1/hadoop-2.6.0/sbin/start-yarn.sh/hadoop1/zookeeper-3.4.5-cdh5.10.0/sbin/zkServer.sh start /hadoop1/hbase-1.2.0-cdh5.9.3/bin/start-hbase.sh/hadoop1/apache-kylin-3.0.0-bin-cdh57/bin/kylin.sh starthive --service metastore &
2)打开浏览器,输入主机:7070/kylin,即可出现如下登录页面:
输入账号和密码ADMIN, KYLIN就可以使用官方自带的例子进行测试啦。更详细的测试过程我想放在后面写基于生产环境的单机/分布式kyin部署时再来记录。如果有相同兴趣的小伙伴可以借鉴并亲手实践一下,文中也可能写的不那么详细,也可能有没注意的错误,都欢迎大家批评指正和交流!
end
kylin版本_kylin多维数据分析(一)单机部署相关推荐
- kylin版本_Kylin配置Spark并构建Cube
每一个成功人士的背后,必定曾经做出过勇敢而又孤独的决定. 放弃不难,但坚持很酷~ HDP 版本:2.6.4.0 Kylin 版本:2.5.1 机器说明:三台 CentOS-7,8G 内存 Kylin ...
- 什么是腾讯蓝鲸运维体系?附部署指南
腾讯蓝鲸智云是一个高效的运维基础服务自动化体系,拥有支撑数百款腾讯业务的经验沉淀,是一个相对成熟稳定的运维系统. 简而言之,基于蓝鲸这套体系,你可以很方便地管控多个主机.执行作业.监控其运行状态. 此 ...
- 【转】使用Apache Kylin搭建企业级开源大数据分析平台
http://www.thebigdata.cn/JieJueFangAn/30143.html 本篇文章整理自史少锋4月23日在『1024大数据技术峰会』上的分享实录:使用Apache Kylin搭 ...
- Java job interview:项目架构研发使用Apache Kylin搭建企业级开源大数据分析平台
Kylin(麒麟)是什么?我们听到过有麒麟芯片.麒麟OS等等,我们这个全名是叫Apache Kylin,是一个大数据分析的项目. 从名字上或许可以猜到,它来自中国,的确这也是我们想让世界知道的,有一群 ...
- 【商务智能】数据仓库 ( 多维数据模型 | 多维数据分析 )
商务智能系列文章目录 [商务智能]数据预处理 [商务智能]数据仓库 ( 多维数据模型 | 多维数据分析 ) 文章目录 商务智能系列文章目录 前言 一.数据仓库 与 传统数据库 区别 二.数据仓库系统体 ...
- ppt扇形图怎么显示数据_前方高能!多维数据分析的神器雷达图PPT制作教程来啦!...
数据的可视化呈现,是最近几年的一个热门词,尤其是在各种PPT的制作中,观看者越来越希望通过简单直接的方式了解到数据背后的深刻含义,因此,之前我们也专门为大家分享了为什么要在PPT里去做数据的可视化呈现 ...
- python多维数据分析_使用python进行数据分析
Life is short, I use python! 1 python中常用的数据分析包 2 python:一维数据分析 2.1 用numpy包进行一维数据分析 import numpy as n ...
- Ubuntu Kylin使用docker单机部署Fate联邦学习框架
Ubuntu Kylin使用docker单机部署Fate联邦学习框架 Fate联邦学习框架分为单机部署和集群部署,本文是在Ubuntu Kylin上使用docker单机部署Fate联邦学习框架,具体环 ...
- 多维度雷达图怎么做_前方高能!多维数据分析的神器雷达图PPT制作教程来啦!...
数据的可视化呈现,是最近几年的一个热门词,尤其是在各种PPT的制作中,观看者越来越希望通过简单直接的方式了解到数据背后的深刻含义,因此,之前我们也专门为大家分享了 什么是雷达图 雷达图又被称为蜘蛛网图 ...
最新文章
- 编译内核指定模块,筛选当前模块依赖的组件
- java中最常用jar包的用途说明,适合初学者
- C++拾趣——有趣的操作符重载
- 在Powerpoint中插入Flash的方法
- 3.1.8 具有快表的地址变换机构
- MySQL 8.0开始Group by不再排序
- 动态获取textarea后面的p标签_HTML简单标签连起实现的小玩意:
- 算术编码原理与实现【转载】
- R系列处理器是服务器,AMD全新R系列处理器领军嵌入式高性能领域
- 对于长时间装载的ASP.NET页面如何在客户端浏览器中显示进度?
- C#注册Email发送验证码详解
- 计算机工程与应用期刊模板,计算机工程与应用 论文模板
- 英语作文框架(四级)
- NANK南卡lite Pro无线蓝牙耳机上手体验
- MacOS下qt签名与公证
- 机房收费管理之数据源配置
- 【论文分享】一个用于现代cpu的多正则表达式匹配器:Hyperscan: A Fast Multi-pattern Regex Matcher for Modern CPUs
- 2022计算机保研夏令营记录
- 我的第一个个人网站,对话生成器
- html 花瓣飘落效果,html全屏花瓣掉落特效
热门文章
- 从本地文件系统迁移oracle数据库到ASM
- 12.04 安装svn
- oracle 10g的安装配置
- .Net控件Telerik全套下载:Telerik Controls 2010 Q2 (附加DLL文件+源码)
- 1208. 尽可能使字符串相等
- 【免费毕设】asp.net FTP客户端设计与开发 (源代码+lunwen)
- node mysql 搭建博客_node.js+Hexo+Git搭建个人博客
- python 网络编程模块_Python网络编程之socket模块
- 学python电脑硬件_2020 python学习第一天————编程语言及计算机介绍
- lisp 任意点 曲线距离_递归、分治、分类和最小距离点对的autolisp实现