kylin 部分问题

1.低版本kylin报错 Failed to find metadata store by url: kylin_metadata@hbase

DEBUG [main] hbase.HBaseConnection:307 : HTable 'kylin_metadata' already exists
Exception in thread "main" java.lang.IllegalArgumentException: Failed to find metadata store by url: kylin_metadata@hbaseat org.apache.kylin.common.persistence.ResourceStore.createResourceStore(ResourceStore.java:96)at org.apache.kylin.common.persistence.ResourceStore.getStore(ResourceStore.java:108)at org.apache.kylin.rest.service.AclTableMigrationTool.checkIfNeedMigrate(AclTableMigrationTool.java:94)at org.apache.kylin.tool.AclTableMigrationCLI.main(AclTableMigrationCLI.java:41)

原因：3.0的kylin会自己创建元数据库，2.6，2.5需要自己手动创建元数据库
解决：进入hbase，创建kylin元数据库 kylin_metadata

create 'kylin_metadata',{NAME=>'cf',VERSIONS=>10}

2.build报错Call From hadoop02/192.168.146.201 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: 拒绝连接

org.apache.kylin.engine.mr.exception.MapReduceException: Exception: java.net.ConnectException: Call From hadoop02/192.168.146.201 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
java.net.ConnectException: Call From dxt102/192.168.1.102 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefusedat org.apache.kylin.engine.mr.common.MapReduceExecutable.doWork(MapReduceExecutable.java:173)at org.apache.kylin.job.execution.AbstractExecutable.execute(AbstractExecutable.java:164)at org.apache.kylin.job.execution.DefaultChainedExecutable.doWork(DefaultChainedExecutable.java:70)at org.apache.kylin.job.execution.AbstractExecutable.execute(AbstractExecutable.java:164)at org.apache.kylin.job.impl.threadpool.DefaultScheduler$JobRunner.run(DefaultScheduler.java:113)at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)at java.lang.Thread.run(Thread.java:748)

原因：在使用kylin的时候需要开启历史服务器，Hadoop的historyserver服务没有启动
解决：启动Hadoop的historyserver的进程服务

mr-jobhistory-daemon.sh start historyserver

3.spark模式运行到Build Cube with Spark:报错Container [pid=6263,containerID=container_1494900155967_0001_02_000001] is running beyond virtual memory limits

Diagnostics:
Container [pid=6263,containerID=container_1494900155967_0001_02_000001] is running beyond virtual memory limits.
Current usage: 107.3 MB of 1 GB physical memory used;
2.2 GB of 2.1 GB virtual memory used. Killing container.

原因：Container要用2.2GB的内存，而虚拟内存只有2.1GB，不够用了，所以Kill了Container。
SPARK-EXECUTOR-MEMORY设置的是1G，即物理内存是1G，Yarn默认的虚拟内存和物理内存比例是2.1，也就是说虚拟内存是2.1G，小于了需要的内存2.2G。
解决办法：把虚拟内存和物理内存比例增大，在yarn-site.xml中增加一个设置：

<property><name>yarn.nodemanager.vmem-pmem-ratio</name><value>2.5</value>
</property>

kylin 部分问题相关推荐

Kylin集群部署和cube使用
Kylin集群部署和cube使用安装集群环境节点 Kylin节点模式 Ip 内存磁盘 Node1 All 192.167.71.11 2G 80G Node2 query 192.168.71. ...
Apache Kylin在绿城客户画像系统中的实践
前言 \\ 作为国内知名的房地产开发商,绿城经过24年的发展,已为全国25万户.80万人营造了美丽家园,并将以"理想生活综合服务提供商"为目标,持续为客户营造高品质的房产品和生活服 ...
Apache Kylin v2.5.0正式发布，开源分布式分析引擎
文章转载自开源中国,作者 Apache Kylin 社区日前,Apache Kylin 社区宣布,Apache Kylin v2.5.0 正式发布. Apache Kylin 是一个开源的分布式分析 ...
中国版 Ubuntu Kylin 14.04 LTS 麒麟操作系统中文版发布下载 (Ubuntu天朝定制版)
中国版 Ubuntu Kylin 14.04 LTS 麒麟操作系统中文版发布下载 (Ubuntu天朝定制版) http://www.iplaysoft.com/ubuntukylin.html
【总结】Kylin LDAP配置
1.LDAP服务,目录结构 2.$KYLIN_HOME/conf/kylin.properties配置访问Kylin两个用户类型, 1.以个人身份登录Kylin系统,做各种操作(user) 2.以调 ...
Mondrain支持kylin问题解决
Mondrain支持kylin问题解决 Mdx select {[MEASURES].[UNITPRICE],[MEASURES].[NUMBER]} on columns, {[CUSTOMER]. ...
大数据分析神兽麒麟(Apache Kylin)
1.Apache Kylin是什么? 在现在的大数据时代,越来越多的企业开始使用Hadoop管理数据,但是现有的业务分析工具(如Tableau,Microstrategy等)往往存在很大的局限,如难以 ...
【报告下载】想要评测 Kylin和Vertica的性能？这份基准测试白皮书已经替你做到了...
2019独角兽企业重金招聘Python工程师标准>>> Kylin是近年来在国内发展非常快的开源大数据项目.作为大数据平台的核心架构技术,今天有超过1000+领先的企业在使用Kyli ...
Windows通过VNC访问Kylin桌面环境
VNC(Virtual Network Computing)是进行远程桌面控制的一个软件.客户端的键盘输入和鼠标操作通过网络传输到远程服务器,控制服务器的操作.服务器的图形界面通过网络传输到客户端显示 ...
apache配置支持mysql_Apache Kylin | 建立 JDBC 数据源
自 Apache Kylin v2.3.x 起有效支持 JDBC 数据源自 v2.3.0 Apache Kylin 开始支持 JDBC 作为第三种数据源(继 Hive,Kafka).用户可以直接集 ...

kylin 部分问题

1.低版本kylin报错 Failed to find metadata store by url: kylin_metadata@hbase

2.build报错Call From hadoop02/192.168.146.201 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: 拒绝连接

3.spark模式运行到Build Cube with Spark:报错Container [pid=6263,containerID=container_1494900155967_0001_02_000001] is running beyond virtual memory limits

kylin 部分问题相关推荐

最新文章

热门文章