Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建六(Kylin篇)
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建六(kylin篇)
- 八、Kylin搭建
- 1.安装
- 2.配置环境变量
- 3.配置kylin
- 4.启动使用
- 5.问题
全文请看:https://blog.csdn.net/tktttt/article/details/108578804
大数据集群搭建安装包:https://download.csdn.net/download/tktttt/12879318
大数据集群搭建安装包2:https://download.csdn.net/download/tktttt/12879355
八、Kylin搭建
1.安装
下载相应适配版本的安装包:官网地址
上传到新建文件目录/usr/local/kylin下,并解压:
tar -zxvf apache-kylin-3.1.0-bin-hbase1x.tar.gz
2.配置环境变量
vi /etc/profile
#加入以下内容
export KYLIN_HOME=/usr/local/kylin/apache-kylin-3.1.0-bin-hbase1x
#path后添加
export PATH=$PATH:$KYLIN_HOME/bin
使之生效:source /etc/profile
3.配置kylin
检查运行环境:
Kylin 运行在 Hadoop 集群上,对各个组件的版本、访问权限及 CLASSPATH 等都有一定的要求,为了避免遇到各种环境问题,您可以运行 $KYLIN_HOME/bin/check-env.sh
脚本来进行环境检测,如果您的环境存在任何的问题,脚本将打印出详细报错信息。如果没有报错信息,代表您的环境适合 Kylin 运行(此段来自kylin官网文档)
若有问题,则按日志输出解决即可,按前文一步步来是没问题的,若出现问题,请回顾前文比对哪里有误。
HDFS 目录结构:
Kylin 会在 HDFS 上生成文件,根目录是 “/kylin/”, 然后会使用 Kylin 集群的元数据表名作为第二层目录名,默认为 “kylin_metadata” (可以在conf/kylin.properties中定制).
通常, /kylin/kylin_metadata 目录下会有这么几种子目录:cardinality, coprocessor, kylin-job_id, resources, jdbc-resources.
- cardinality: Kylin 加载 Hive 表时,会启动一个 MR 任务来计算各个列的基数,输出结果会暂存在此目录。此目录可以安全清除。
- coprocessor: Kylin 用于存放 HBase coprocessor jar 的目录;请勿删除。
- kylin-job_id: Cube 计算过程的数据存储目录,请勿删除。 如需要清理,请遵循 storage cleanup guide.
- resources: Kylin 默认会将元数据存放在 HBase,但对于太大的文件(如字典或快照),会转存到 HDFS 的该目录下,请勿删除。如需要清理,请遵循 cleanup resources from metadata
- jdbc-resources:性质同上,只在使用 MySQL 做元数据存储时候出现。
(此部分来自kylin官方文档,想详细了解的见官网)
部署 Kylin:
kylin.env.hdfs-working-dir:指定 Kylin 服务所用的 HDFS 路径,默认值为 /kylin,请确保启动 Kylin 实例的用户有读写该目录的权限
kylin.env:指定 Kylin 部署的用途,参数值可选 DEV,QA, PROD,默认值为 DEV,在 DEV 模式下一些开发者功能将被启用
kylin.env.zookeeper-base-path:指定 Kylin 服务所用的 ZooKeeper 路径,默认值为 /kylin
kylin.env.zookeeper-connect-string:指定 ZooKeeper 连接字符串,如果为空,使用 HBase 的 ZooKeeper
kylin.env.hadoop-conf-dir:指定 Hadoop 配置文件目录,如果不指定的话,获取环境中的 HADOOP_CONF_DIR
kylin.server.mode:指定 Kylin 实例的运行模式,参数值可选 all, job, query,默认值为 all,job 模式代表该服务仅用于任务调度,不用于查询;query 模式代表该服务仅用于查询,不用于构建任务的调度;all 模式代表该服务同时用于任务调度和 SQL 查询。
kylin.server.cluster-name:指定集群名称
(以上部分来自官网文档)详情:见此处
4.启动使用
使用 Kylin:
Kylin 启动后您可以通过浏览器 http://<hostname>:7070/kylin
进行访问。
其中 <hostname>
为具体的机器名、IP 地址或域名,默认端口为 7070。
初始用户名和密码是 ADMIN/KYLIN
。
服务器启动后,您可以通过查看 $KYLIN_HOME/logs/kylin.log
获得运行时日志。
停止 Kylin:
运行 $KYLIN_HOME/bin/kylin.sh stop
脚本来停止 Kylin,界面输出如下:
Retrieving hadoop conf dir...
KYLIN_HOME is set to /usr/local/apache-kylin-2.5.0-bin-hbase1x
Stopping Kylin: 25964
Stopping in progress. Will check after 2 secs again...
Kylin with pid 25964 has been stopped.
您可以运行ps -ef | grep kylin
来查看 Kylin 进程是否已停止。
(以上部分来自官方文档)
启动集群:
启动顺序:
1、启动zookeeper
./zkServer.sh start
2、启动journalnode
hadoop-daemon.sh start journalnode
3、启动HDFS
./start-dfs.sh
4、启动YARN集群
./start-yarn.sh
5、启动HBase集群
./start-hbase.sh
6、启动 metastore
nohup hive --service metastore &
#或者
nohup hive --service metastore >/usr/data/hive/log/metastore/metastore.log &
7、启动 hiverserver2
nohup hive --service hiveserver2 &
或者
nohup hive --service hiveserver2 >/usr/data/hive/log/hiveserver2/hiveserver.log &
8、启动Yarn history server
mr-jobhistory-daemon.sh start historyserver
9、启动spark history server【可选,本文未装spark】
sbin/start-history-server.sh
10、启动kylin
./kylin.sh start
登录Kylin:
http://node:7070/kylin
url http://IP:7070/kylin
默认用户名:ADMIN
默认密码:KYLIN
使用:
参考另一位博主的文章:此处
为何不运行kylin自带的demo,因为虚拟机配置不够,运行耗时太长,因而最好用前文hive中自行建立的数据库与数据表等数据
5.问题
在上面使用过程中,可能遇到:
1.web页面中kylin在build报错10020拒绝链接错误
报错信息:
org.apache.kylin.engine.mr.exception.MapReduceException: Exception: java.net.ConnectException: Call From dxt102/192.168.1.102 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
java.net.ConnectException: Call From dxt102/192.168.1.102 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see: http://wiki.apache.org/hadoop/ConnectionRefusedat org.apache.kylin.engine.mr.common.MapReduceExecutable.doWork(MapReduceExecutable.java:173)at org.apache.kylin.job.execution.AbstractExecutable.execute(AbstractExecutable.java:164)
解决方法:修改Hadoop配置文件mapred-site.xml
cd /usr/local/hadoop/hadoop-2.7.4/etc/hadoop
vi mapred-site.xml
加入如下内容:
<!-- 配置 MapReduce JobHistory Server 地址,默认端口10020 --><property><name>mapreduce.jobhistory.address</name><value>192.168.88.129:10020</value></property><!-- 配置 MapReduce JobHistory Server web ui 地址,默认端口19888 --><property><name>mapreduce.jobhistory.webapp.address</name><value>192.168.88.129:19888</value></property>
并停止kylin,在主节点上启动jobhistory:
mr-jobhistory-daemon.sh start historyserver
再重新启动kylin,并重新运行程序,运行成功
2.其他问题:
笔者未遇到,这里放两篇其他博主的参考文章:
Kylin常见错误及解决方法
kylin安装问题记录
全文列出的参考文章,仅为提供方便,若有侵犯,请联系删除
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建六(Kylin篇)相关推荐
- Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建一(虚拟机篇)
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建一(虚拟机篇) 一.虚拟机安装Centos7 1.准备工作 2.centos7安装过程 3.关闭防火墙(关键) 二 ...
- Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建五(Hive篇)
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建五(Hive篇) 七.Hive安装配置 1.准备工作 2.安装hive 全文请看:https://blog.csd ...
- Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建三(zookeeper篇)
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建三(zookeeper篇) 四.Zookeeper集群搭建 1.下载安装zookeeper安装包 2.文件配置 3 ...
- Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建 一.虚拟机安装Centos7 1.准备工作 2.centos7安装过程 3.关闭防火墙(关键) 二.安装jdk ...
- Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建四(Hbase篇)
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建四(Hbase篇) 五.Hbase集群搭建 1.准备工作(下载与时间同步) 2.安装解压 3.环境变量配置 4.文 ...
- Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建十一(Nginx负载均衡篇)
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建十一(Nginx负载均衡篇) 十三.Nginx负载均衡 1.Nginx安装环境 2.编译 3.启动测试 4.ngi ...
- hbase安装包_HBase集群搭建
准备环境 小编使用如下三台机器进行讲解Hbase集群的搭建. 172.16.151.237 master 172.16.151.238 slave1 172.16.151.239 slave2 集群搭 ...
- hadoop 3.1.1的集群搭建并完成高可用配置(详细版)
一.简介 hadoop是Apache基金会的一个顶级项目,最早期版本是十多年前发布的,随着飞速的迭代更新,2018年已经更新到了3.1.1版本.网络上大多数都是旧版本的配置,本文却是最新版本的hado ...
- mysql集群 教程_mysql集群搭建教程-基础篇
计算机一级考试系统要用集群,目标是把集群搭建起来,保证一个库dang了,不会影响程序的运行.于是在孟海滨师哥的带领下开始了我的第一次搭建mysql集群,首先看了一些关于集群的资料,然后根据步骤一步步的 ...
最新文章
- 使用电脑一定得有良好的习惯呀!
- 计算器 abacus 技术文档之二----初步设计
- linux源码Makefile的详细分析
- 释放mysql ibdata1文件_释放MySQL ibdata1文件的空间
- 娜塔莉波特曼2015哈佛毕业演讲
- linux qt应用程序全屏,QT中MDI应用程序中更改子窗口大小或是全屏显示子窗口的方法...
- 牛客 2021年度训练联盟热身训练赛第二场 C题Tip to be Palindrome
- 教你win7显卡驱动如何安装,win7电脑显卡驱动的安装方法
- 位运算 —— 一个数二进制形式尾端为 0 的个数
- android 傅里叶变换_Android连载38访问联系人
- 大批驱动管理软件(免安装版)
- V-by-one 与lvds
- UTF-8、BOM、feff的问题
- 12C安装oracle,Oracle 12C安装
- Unity学习 — 官方中文版本教程详解
- 华芯投资40亿现金收购美芯片测试设备厂商Xcerra
- 中兴手机可以刷鸿蒙系统吗,中兴:今年无计划使用华为鸿蒙系统
- 做一个校园跑腿小程序需要多少成本?
- 上海电机学院计算机科学与技术专业怎么样,上海电机学院计算机科学与技术专业2016年在上海理科高考录取最低分数线...
- 计算机格式化系统,Win7电脑怎么进行格式化?
热门文章
- 验证过的ULN2003驱动继电器电路
- 8.学习Camera之——Android开机流程
- 【python教程】使用python做一个井字棋
- OpenCV学习笔记(一):OpenCV报错“libpng error: IDAT: invalid distance too far back”
- spring framwork-ioc容器
- 淘客基地免费商城更新至 V1.2.9(2018-2-22)功能导读
- 《Qt图形界面编程入门》课后习题全解
- 一个简单的管理系统功能(增加,删除,显示数据)
- 腾讯待办怎么用?来看看这篇超详细的入门指南
- 网页M3U8视频Windows平台解析下载