CC00016.kylin——|HadoopOLAP_Kylin.V16|——|Kylin.v16|Cube优化|检查Cuboid数量|
### --- 检查Cuboid数量~~~ Apache Kylin提供了一个简单的工具,
~~~ 检查Cube中哪些Cuboid最终被预计算了,称这些Cuboid为被物化的Cuboid,
~~~ 该工具还能给出每个Cuboid所占空间的估计值。
~~~ 由于该工具需要在对数据进行一定阶段的处理之后才能估算Cuboid的大小,
~~~ 一般来说在Cube构建完毕之后再使用该工具。
### --- 使用如下的命令行工具去检查这个Cube中的Cuboid状态:[root@hadoop02 ~]# kylin.sh org.apache.kylin.engine.mr.common.CubeStatsReader yanqi_sales_cube4
============================================================================
Statistics of yanqi_sales_cube4[20211001000000_20211002000000]Cube statistics hll precision: 14
Total cuboids: 15
Total estimated rows: 101
Total estimated size(MB): 0.0013644695281982422
Sampling percentage: 100
Mapper overlap ratio: 1.0
Mapper number: 1
Length of dimension YANQI_KYLIN.DW_SALES1.DT is 1
Length of dimension YANQI_KYLIN.DW_SALES1.PRODUCTID is 1
Length of dimension YANQI_KYLIN.DW_SALES1.CHANNELID is 1
Length of dimension YANQI_KYLIN.DW_SALES1.REGIONID is 1
|---- Cuboid 1111, est row: 18, est MB: 0|---- Cuboid 0111, est row: 18, est MB: 0, shrink: 100%|---- Cuboid 0011, est row: 6, est MB: 0, shrink: 33.33%|---- Cuboid 0001, est row: 2, est MB: 0, shrink: 33.33%|---- Cuboid 0010, est row: 3, est MB: 0, shrink: 50%|---- Cuboid 0101, est row: 8, est MB: 0, shrink: 44.44%|---- Cuboid 0100, est row: 4, est MB: 0, shrink: 50%|---- Cuboid 0110, est row: 9, est MB: 0, shrink: 50%|---- Cuboid 1011, est row: 6, est MB: 0, shrink: 33.33%|---- Cuboid 1001, est row: 2, est MB: 0, shrink: 33.33%|---- Cuboid 1000, est row: 1, est MB: 0, shrink: 50%|---- Cuboid 1010, est row: 3, est MB: 0, shrink: 50%|---- Cuboid 1101, est row: 8, est MB: 0, shrink: 44.44%|---- Cuboid 1100, est row: 4, est MB: 0, shrink: 50%|---- Cuboid 1110, est row: 9, est MB: 0, shrink: 50%
----------------------------------------------------------------------------
### --- 输出结果分析:
~~~ 估计Cuboid大小的精度(Hll Precision)
~~~ 总共的Cuboid数量
~~~ Segment的总行数估计
~~~ Segment的大小估计,Segment的大小决定mapper、reducer的数量、数据分片数量等============================================================================
Statistics of yanqi_sales_cube4[20211001000000_20211002000000]
~~~省略部分参数
Cube statistics hll precision: 14
Total cuboids: 15
Total estimated rows: 101
Total estimated size(MB): 0.0013644695281982422
Sampling percentage: 100
Mapper overlap ratio: 1.0
Mapper number: 1
~~~省略部分参数
----------------------------------------------------------------------------
============================================================================
Statistics of yanqi_sales_cube4[20211001000000_20211002000000]
~~~省略部分参数
|---- Cuboid 1111, est row: 18, est MB: 0|---- Cuboid 0111, est row: 18, est MB: 0, shrink: 100%|---- Cuboid 0011, est row: 6, est MB: 0, shrink: 33.33%|---- Cuboid 0001, est row: 2, est MB: 0, shrink: 33.33%|---- Cuboid 0010, est row: 3, est MB: 0, shrink: 50%|---- Cuboid 0101, est row: 8, est MB: 0, shrink: 44.44%|---- Cuboid 0100, est row: 4, est MB: 0, shrink: 50%|---- Cuboid 0110, est row: 9, est MB: 0, shrink: 50%|---- Cuboid 1011, est row: 6, est MB: 0, shrink: 33.33%|---- Cuboid 1001, est row: 2, est MB: 0, shrink: 33.33%|---- Cuboid 1000, est row: 1, est MB: 0, shrink: 50%|---- Cuboid 1010, est row: 3, est MB: 0, shrink: 50%|---- Cuboid 1101, est row: 8, est MB: 0, shrink: 44.44%|---- Cuboid 1100, est row: 4, est MB: 0, shrink: 50%|---- Cuboid 1110, est row: 9, est MB: 0, shrink: 50%
----------------------------------------------------------------------------
~~~ 所有的 Cuboid 及它的分析结果都以树状的形式打印了出来
~~~ 在这棵树中,每个节点代表一个Cuboid,每个Cuboid都由一连串1或0的数字组成
~~~ 数字串的长度等于有效维度的数量,从左到右的每个数字依次代表Rowkeys设置中的各个维度。
~~~ 如果数字为0,则代表这个Cuboid中不存在相应的维度;
~~~ 如果数字为1,则代表这个Cuboid中存在相应的维度
~~~ 除了最顶端的Cuboid之外,每个Cuboid都有一个父亲Cuboid,且都比父亲Cuboid少了一个“1”。
~~~ 其意义是这个Cuboid就是由它的父亲节点减少一个维度聚合而来的(上卷)
~~~ 最顶端的Cuboid称为Base Cuboid,它直接由源数据计算而来。
~~~ Base Cuboid中包含所有的维度,因此它的数字串中所有的数字均为1
~~~ 每行Cuboid的输出中除了0和1的数字串以外,
~~~ 后面还有每个Cuboid的具体信息,包括该Cuboid行数的估计值、该Cuboid大小的估计值,
~~~ 以及这个Cuboid的行数与父亲节点的对比(Shrink值)
~~~ 所有Cuboid行数的估计值之和应该等于Segment的行数估计值,
~~~ 所有Cuboid的大小估计值应该等于该Segment的大小估计值。
~~~ 每个Cuboid都是在它的父亲节点的基础上进一步聚合而成的
CC00016.kylin——|HadoopOLAP_Kylin.V16|——|Kylin.v16|Cube优化|检查Cuboid数量|相关推荐
- CC00015.kylin——|HadoopOLAP_Kylin.V15|——|Kylin.v15|Cube优化|Cuboid剪枝优化|
一.Cube优化 ### --- Cuboid剪枝优化~~~ Cuboid 特指 Kylin 中在某一种维度组合下所计算的所有数据. ~~~ 以减少Cuboid数量为目的的优化统称为Cuboid剪枝. ...
- Apache Kylin CUBE 剪枝优化和cuboid数量计算公式总结
kylin 聚合组优化 --------1.简单情况-------------- 1.强制优化 分步乘法,n个元素取m,结果m x n 2^(N-X) 2.层级优化 将N个维度中X个维度设置为层级维度 ...
- CC00027.kylin——|HadoopOLAP_Kylin.V27|——|Kylin.v27|Kylin构建Cube|实时OLAP.V3|
一.定义数据源 ### --- 定义数据源~~~ # 1.创建数据源 ~~~ # 2.填写kafka集群信息 ~~~ # 3.通过kylin加载的json字段:创建流表维表格式 ~~~ # 4.查看加 ...
- CC00023.kylin——|HadoopOLAP_Kylin.V23|——|Kylin.v23|Kylin构建Cube|流式构建.V1|
一.流式构建 ### --- 流式构建~~~ 实时数据更新是一种普遍的需求,快速分析变化趋势才能做出正确的决策. ~~~ Kylin V1.6 发布了可扩展的 streaming cubing 功能, ...
- Kylin - 05 cuboid以及cube优化
Cuboid = one combination of dimensions Cube = all combination of dimensions (all cuboids) 按照dimensio ...
- Kylin系列(二)—— Cube 构造算法
总目录 Kylin系列(一)-- 入门 Kylin系列(二)-- Cube 构造算法 总目录 Kylin cube 构造算法 逐层算法(layer Cubing) 算法的优点 算法的缺点 快速Cube ...
- Kylin集群部署和cube使用
Kylin集群部署和cube使用 安装集群环境 节点 Kylin节点模式 Ip 内存 磁盘 Node1 All 192.167.71.11 2G 80G Node2 query 192.168.71. ...
- kylin如何支持flink_大数据集群运维(28) Kylin 配置使用 flink 构建 Cube
用 Flink 构建 Cube Kylin v3.1 引入了 Flink cube engine,在 build cube 步骤中使用 Apache Flink 代替 MapReduce:您可以查看 ...
- Kylin实践(二)--Cube构建
接上篇:Kylin实践(一)--Hadoop环境搭建 https://blog.csdn.net/isscici06/article/details/80624797 ---------------- ...
最新文章
- FairyGUI和NGUI对比
- SSM项目整合RabbitMQ
- 前端小问题1——(最近好久没有发博客。。。待续)
- C#访问远程共享加锁文件夹
- 拥抱开源!除了微软红帽,这些国际大厂你认识几个?
- ASP.NET Core 查看应用状态和统计
- UI素材模板|app ui界面的导航设计都有哪些?
- python语法(一)——判断字符串是否包含某子字符串
- 始发 终点站 附近几站 全部查询 原来代码基本弃用 数组见上篇文章
- 面试AI岗,为什么我在100人中拿到了唯一年薪70万的offer?
- 【转】为VS2005安装STLport
- 泰坦尼克数据集kaggle Titanic下载
- 计算机辅助设计与制造考试重点,2016计算机辅助设计与制造复习内容
- FreeMarker FTL标签
- 七夕撒狗粮,结婚五周年,mysql学习教程
- PDF文件如何添加页面或插入其他PDF页面
- 面试了10几家公司后被怼,逼的我把源码都吃透了,最终成功入职阿里
- 计算机硬件工程师面试题集,硬件工程师笔试及面试问题
- C语言for循环能不能定义,关于for循环的格式
- android蓝牙查看电池容量_安卓手机如何查看电池损耗?