一、检查Cuboid数量
### --- 检查Cuboid数量~~~     Apache Kylin提供了一个简单的工具,
~~~     检查Cube中哪些Cuboid最终被预计算了,称这些Cuboid为被物化的Cuboid,
~~~     该工具还能给出每个Cuboid所占空间的估计值。
~~~     由于该工具需要在对数据进行一定阶段的处理之后才能估算Cuboid的大小,
~~~     一般来说在Cube构建完毕之后再使用该工具。

### --- 使用如下的命令行工具去检查这个Cube中的Cuboid状态:[root@hadoop02 ~]# kylin.sh org.apache.kylin.engine.mr.common.CubeStatsReader yanqi_sales_cube4

============================================================================
Statistics of yanqi_sales_cube4[20211001000000_20211002000000]Cube statistics hll precision: 14
Total cuboids: 15
Total estimated rows: 101
Total estimated size(MB): 0.0013644695281982422
Sampling percentage:  100
Mapper overlap ratio: 1.0
Mapper number: 1
Length of dimension YANQI_KYLIN.DW_SALES1.DT is 1
Length of dimension YANQI_KYLIN.DW_SALES1.PRODUCTID is 1
Length of dimension YANQI_KYLIN.DW_SALES1.CHANNELID is 1
Length of dimension YANQI_KYLIN.DW_SALES1.REGIONID is 1
|---- Cuboid 1111, est row: 18, est MB: 0|---- Cuboid 0111, est row: 18, est MB: 0, shrink: 100%|---- Cuboid 0011, est row: 6, est MB: 0, shrink: 33.33%|---- Cuboid 0001, est row: 2, est MB: 0, shrink: 33.33%|---- Cuboid 0010, est row: 3, est MB: 0, shrink: 50%|---- Cuboid 0101, est row: 8, est MB: 0, shrink: 44.44%|---- Cuboid 0100, est row: 4, est MB: 0, shrink: 50%|---- Cuboid 0110, est row: 9, est MB: 0, shrink: 50%|---- Cuboid 1011, est row: 6, est MB: 0, shrink: 33.33%|---- Cuboid 1001, est row: 2, est MB: 0, shrink: 33.33%|---- Cuboid 1000, est row: 1, est MB: 0, shrink: 50%|---- Cuboid 1010, est row: 3, est MB: 0, shrink: 50%|---- Cuboid 1101, est row: 8, est MB: 0, shrink: 44.44%|---- Cuboid 1100, est row: 4, est MB: 0, shrink: 50%|---- Cuboid 1110, est row: 9, est MB: 0, shrink: 50%
----------------------------------------------------------------------------

### --- 输出结果分析:
~~~     估计Cuboid大小的精度(Hll Precision)
~~~     总共的Cuboid数量
~~~     Segment的总行数估计
~~~     Segment的大小估计,Segment的大小决定mapper、reducer的数量、数据分片数量等============================================================================
Statistics of yanqi_sales_cube4[20211001000000_20211002000000]
~~~省略部分参数
Cube statistics hll precision: 14
Total cuboids: 15
Total estimated rows: 101
Total estimated size(MB): 0.0013644695281982422
Sampling percentage:  100
Mapper overlap ratio: 1.0
Mapper number: 1
~~~省略部分参数
----------------------------------------------------------------------------

============================================================================
Statistics of yanqi_sales_cube4[20211001000000_20211002000000]
~~~省略部分参数
|---- Cuboid 1111, est row: 18, est MB: 0|---- Cuboid 0111, est row: 18, est MB: 0, shrink: 100%|---- Cuboid 0011, est row: 6, est MB: 0, shrink: 33.33%|---- Cuboid 0001, est row: 2, est MB: 0, shrink: 33.33%|---- Cuboid 0010, est row: 3, est MB: 0, shrink: 50%|---- Cuboid 0101, est row: 8, est MB: 0, shrink: 44.44%|---- Cuboid 0100, est row: 4, est MB: 0, shrink: 50%|---- Cuboid 0110, est row: 9, est MB: 0, shrink: 50%|---- Cuboid 1011, est row: 6, est MB: 0, shrink: 33.33%|---- Cuboid 1001, est row: 2, est MB: 0, shrink: 33.33%|---- Cuboid 1000, est row: 1, est MB: 0, shrink: 50%|---- Cuboid 1010, est row: 3, est MB: 0, shrink: 50%|---- Cuboid 1101, est row: 8, est MB: 0, shrink: 44.44%|---- Cuboid 1100, est row: 4, est MB: 0, shrink: 50%|---- Cuboid 1110, est row: 9, est MB: 0, shrink: 50%
----------------------------------------------------------------------------

~~~     所有的 Cuboid 及它的分析结果都以树状的形式打印了出来
~~~     在这棵树中,每个节点代表一个Cuboid,每个Cuboid都由一连串1或0的数字组成
~~~     数字串的长度等于有效维度的数量,从左到右的每个数字依次代表Rowkeys设置中的各个维度。
~~~     如果数字为0,则代表这个Cuboid中不存在相应的维度;
~~~     如果数字为1,则代表这个Cuboid中存在相应的维度
~~~     除了最顶端的Cuboid之外,每个Cuboid都有一个父亲Cuboid,且都比父亲Cuboid少了一个“1”。
~~~     其意义是这个Cuboid就是由它的父亲节点减少一个维度聚合而来的(上卷)
~~~     最顶端的Cuboid称为Base Cuboid,它直接由源数据计算而来。
~~~     Base Cuboid中包含所有的维度,因此它的数字串中所有的数字均为1
~~~     每行Cuboid的输出中除了0和1的数字串以外,
~~~     后面还有每个Cuboid的具体信息,包括该Cuboid行数的估计值、该Cuboid大小的估计值,
~~~     以及这个Cuboid的行数与父亲节点的对比(Shrink值)
~~~     所有Cuboid行数的估计值之和应该等于Segment的行数估计值,
~~~     所有Cuboid的大小估计值应该等于该Segment的大小估计值。
~~~     每个Cuboid都是在它的父亲节点的基础上进一步聚合而成的

CC00016.kylin——|HadoopOLAP_Kylin.V16|——|Kylin.v16|Cube优化|检查Cuboid数量|相关推荐

  1. CC00015.kylin——|HadoopOLAP_Kylin.V15|——|Kylin.v15|Cube优化|Cuboid剪枝优化|

    一.Cube优化 ### --- Cuboid剪枝优化~~~ Cuboid 特指 Kylin 中在某一种维度组合下所计算的所有数据. ~~~ 以减少Cuboid数量为目的的优化统称为Cuboid剪枝. ...

  2. Apache Kylin CUBE 剪枝优化和cuboid数量计算公式总结

    kylin 聚合组优化 --------1.简单情况-------------- 1.强制优化 分步乘法,n个元素取m,结果m x n 2^(N-X) 2.层级优化 将N个维度中X个维度设置为层级维度 ...

  3. CC00027.kylin——|HadoopOLAP_Kylin.V27|——|Kylin.v27|Kylin构建Cube|实时OLAP.V3|

    一.定义数据源 ### --- 定义数据源~~~ # 1.创建数据源 ~~~ # 2.填写kafka集群信息 ~~~ # 3.通过kylin加载的json字段:创建流表维表格式 ~~~ # 4.查看加 ...

  4. CC00023.kylin——|HadoopOLAP_Kylin.V23|——|Kylin.v23|Kylin构建Cube|流式构建.V1|

    一.流式构建 ### --- 流式构建~~~ 实时数据更新是一种普遍的需求,快速分析变化趋势才能做出正确的决策. ~~~ Kylin V1.6 发布了可扩展的 streaming cubing 功能, ...

  5. Kylin - 05 cuboid以及cube优化

    Cuboid = one combination of dimensions Cube = all combination of dimensions (all cuboids) 按照dimensio ...

  6. Kylin系列(二)—— Cube 构造算法

    总目录 Kylin系列(一)-- 入门 Kylin系列(二)-- Cube 构造算法 总目录 Kylin cube 构造算法 逐层算法(layer Cubing) 算法的优点 算法的缺点 快速Cube ...

  7. Kylin集群部署和cube使用

    Kylin集群部署和cube使用 安装集群环境 节点 Kylin节点模式 Ip 内存 磁盘 Node1 All 192.167.71.11 2G 80G Node2 query 192.168.71. ...

  8. kylin如何支持flink_大数据集群运维(28) Kylin 配置使用 flink 构建 Cube

    用 Flink 构建 Cube Kylin v3.1 引入了 Flink cube engine,在 build cube 步骤中使用 Apache Flink 代替 MapReduce:您可以查看  ...

  9. Kylin实践(二)--Cube构建

    接上篇:Kylin实践(一)--Hadoop环境搭建 https://blog.csdn.net/isscici06/article/details/80624797 ---------------- ...

最新文章

  1. FairyGUI和NGUI对比
  2. SSM项目整合RabbitMQ
  3. 前端小问题1——(最近好久没有发博客。。。待续)
  4. C#访问远程共享加锁文件夹
  5. 拥抱开源!除了微软红帽,这些国际大厂你认识几个?
  6. ASP.NET Core 查看应用状态和统计
  7. UI素材模板|app ui界面的导航设计都有哪些?
  8. python语法(一)——判断字符串是否包含某子字符串
  9. 始发 终点站 附近几站 全部查询 原来代码基本弃用 数组见上篇文章
  10. 面试AI岗,为什么我在100人中拿到了唯一年薪70万的offer?
  11. 【转】为VS2005安装STLport
  12. 泰坦尼克数据集kaggle Titanic下载
  13. 计算机辅助设计与制造考试重点,2016计算机辅助设计与制造复习内容
  14. FreeMarker FTL标签
  15. 七夕撒狗粮,结婚五周年,mysql学习教程
  16. PDF文件如何添加页面或插入其他PDF页面
  17. 面试了10几家公司后被怼,逼的我把源码都吃透了,最终成功入职阿里
  18. 计算机硬件工程师面试题集,硬件工程师笔试及面试问题
  19. C语言for循环能不能定义,关于for循环的格式
  20. android蓝牙查看电池容量_安卓手机如何查看电池损耗?

热门文章

  1. 汇编中的lea指令的作用,简单清晰明了不废话!
  2. centos 7 添加端口白名单,设置防火墙
  3. 【C语言】例3.5 求方程的根
  4. mac断网后服务起不来
  5. 详解KPL商业生态,跑步前进实现多赢
  6. 【转】Linux那些事儿 之 戏说USB(23)设备的生命线(二)
  7. 您的计算机无法访问dota2,如何解决Win10系统无法登录dota2的问题?
  8. TOF传感器、摄像头传感器、超声波传感器、激光雷达、毫米波雷达
  9. 炫过Win7 openSUSE最新中文版完美体验
  10. python中的汉字编码(转载,已经注明转载地址)