一、查询引擎 Sparder

Sparder (SparderContext) 是由 Spark application 后端实现的新型分布式查询引擎，它是作为一个 Long-running 的 Spark application 存在的。Sparder 会根据 kylin.query.spark-conf 开头的配置项中配置的 Spark 参数来获取 Yarn 资源，如果配置的资源参数过大，可能会影响构建任务甚至无法成功启动 Sparder，如果 Sparder 没有成功启动，则所有查询任务都会失败，因此请在 Kylin 的 WebUI 中检查 Sparder 状态，不过默认情况下，用于查询的 spark 参数会设置的比较小，在生产环境中，大家可以适当把这些参数调大一些，以提升查询性能。

kylin.query.auto-sparder-context-enabled-enabled 参数用于控制是否在启动 kylin 的同时启动Sparder，默认值为 false，即默认情况下会在执行第一条 SQL 的时候才启动 Sparder，因此 Kylin 的第一条 SQL 查询速度一般比较慢，因为包含了 Sparder 任务的启动时间。

二、HDFS 存储目录

根目录：/kylin/kylin_metadata

子目录：

临时文件存储目录：/project_name/job_tmp
Cuboid 文件存储目录： /project_name /parquet/cube_name/segment_name_XXX
维度表快照存储目录：/project_name /table_snapshot
Spark 运行日志目录：/project_name/spark_logs

三、Kylin4.0 查询参数汇总

Kylin 查询参数全部以 kylin.query.spark-conf 开头，默认情况下，用于查询的 spark 参数会设置的比较小，在生产环境中，大家可以适当把这些参数调大一些，以提升查询性能。

####spark 运行模式####
#kylin.query.spark-conf.spark.master=yarn
####spark driver 核心数####
#kylin.query.spark-conf.spark.driver.cores=1
####spark driver 运行内存####
#kylin.query.spark-conf.spark.driver.memory=4G
####spark driver 运行堆外内存####
#kylin.query.spark-conf.spark.driver.memoryOverhead=1G
####spark executor 核心数####
#kylin.query.spark-conf.spark.executor.cores=1
####spark executor 个数####
#kylin.query.spark-conf.spark.executor.instances=1
####spark executor 运行内存####
#kylin.query.spark-conf.spark.executor.memory=4G
####spark executor 运行堆外内存####
#kylin.query.spark-conf.spark.executor.memoryOverhead=1G

Kylin (四) --------- Kylin 4.0 查询引擎相关推荐

Kylin安装Version1.6.0
Kylin安装,基于版本1.6.0,Kylin只有单机没有集群, 使用apache-kylin-1.6.0-hbase1.x-bin.tar.gz安装包. 1.安装规划角色规划 IP/机器名安装软 ...
查询引擎怎么选？7000字解析所有开源引擎的秘密
怎么理解即席查询即席查询(Ad Hoc)是用户根据自己的需求,灵活的选择查询条件,系统能够根据用户的选择生成相应的统计报表.即席查询与普通应用查询最大的不同是普通的应用查询是定制开发的,而即席查询 ...
与kylin_什么是Kylin，Kylin的学习
概述 Kylin定义 Apache Kylin是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay开发并贡献至开源社 ...
360多数据源混合查询引擎的前世今生
女主宣言随着业务的不断增多,为满足不同场景下对计算时延和吞吐的需求,各式各样的数据源大显身手.然而,由于不同数据源的发展历程不同,迭代速度不一,无法向用户提供统一的数据处理范式.且数据源所处介质天然 ...
全方位测评Hive、SparkSQL、Presto 等七个大数据查询引擎，最快的竟是……| 程序员硬核测评...
现在大数据组件非常多,众说不一,那么每个企业在不同的使用场景里究竟应该使用哪个引擎呢?易观Spark实战营团队选取了Hive.SparkSQL.Presto.Impala.HAWQ.ClickHous ...
2022-10-24 ClickHouse 源码解析-查询引擎经典理论
ClickHouse 源码解析: 综述 ClickHouse 源码解析: MergeTree Write-Path ClickHouse 源码解析: MergeTree Read-Path Click ...
2020-12-03《Presto分布式SQL查询引擎——kkb笔记复习》
Presto分布式SQL查询引擎一.课前准备 jdk版本要求:Java 8 Update 151 or higher (8u151+), 64-bit 安装好hadoop集群安装好hive 二.课 ...
oracle saiku_Apache Kylin | Saiku + Kylin 搭建多维 OLAP 平台
随着数据量的激增,传统的 OLTP 平台已无法满足用户的分析需求.OLAP 平台应运而生,OLAP 平台通常由 OLAP Engine 与用户操作分析页面组成.本文将会以 Saiku + Kylin ...
如何选择大数据存储查询引擎
目录: 1.从需求说起 2.救星OlAP 3.新的问题,高并发随着大数据技术的成熟,涌现了非常多的成熟框架和技术,在大数据存储查询引擎方面也有非常多的优秀产品.为什么出现这么多的优秀产品,为什么不是 ...

Kylin (四) --------- Kylin 4.0 查询引擎

目录

一、查询引擎 Sparder

二、HDFS 存储目录

三、Kylin4.0 查询参数汇总

Kylin (四) --------- Kylin 4.0 查询引擎相关推荐

最新文章

热门文章