12_VersionedCollapsingMergeTree,Log Engine Family(Log引擎,StripeLog引擎,TinyLog引擎)
11.VersionedCollapsingMergeTree
11.1.VersionedCollapsingMergeTree
11.2.案例
12.Log Engine Family
Log引擎:
StripeLog引擎
TinyLog引擎
12.2.案例
11.VersionedCollapsingMergeTree
11.1.VersionedCollapsingMergeTree
算法:
当ClickHouse合并数据片段时,它会删除满足如下条件的行:排序键相同,version相同,Sign不同。行的顺序无关紧要。
当CLickHouse插入数据时,它按排序键对数据进行排序:如果Version列不在排序键中,则ClickHouse会将其隐式地作为最后一个字段添加到排序键中,并将其用于排序。
11.2.案例
示例数据:
┌──────────────UserID─┬─PageViews─┬─Duration─┬─Sign─┬─Version─┐
│ 4324182021466249494 │ 5 │ 146 │ 1 │ 1 |
│ 4324182021466249494 │ 5 │ 146 │ -1 │ 1 |
│ 4324182021466249494 │ 6 │ 185 │ 1 │ 2 |
└─────────────────────┴───────────┴──────────┴──────┴─────────┘
建表:
DROP TABLE IF EXISTS UAct;
CREATE TABLE UAct
(UserID UInt64,PageViews UInt8,Duration UInt8,Sign Int8,Version UInt8
)
ENGINE = VersionedCollapsingMergeTree(Sign, Version)
ORDER BY UserID;
插入数据:
INSERT INTO UAct VALUES (4324182021466249494, 5, 146, 1, 1);
INSERT INTO UAct VALUES (4324182021466249494, 5, 146, -1, 1),(4324182021466249494, 6, 185, 1, 2);
上面执行了两个INSERT语句,创建了两个不同的数据片段。如果使用一个INSERT语句,ClickHouse将创建一个数据片段,并且将永远不会执行任何合并。
查询数据:
xxxx2 :) select * from UAct;SELECT *
FROM UAct┌──────────────UserID─┬─PageViews─┬─Duration─┬─Sign─┬─Version─┐
│ 4324182021466249494 │ 5 │ 146 │ -1 │ 1 │
│ 4324182021466249494 │ 6 │ 185 │ 1 │ 2 │
└─────────────────────┴───────────┴──────────┴──────┴─────────┘
┌──────────────UserID─┬─PageViews─┬─Duration─┬─Sign─┬─Version─┐
│ 4324182021466249494 │ 5 │ 146 │ 1 │ 1 │
└─────────────────────┴───────────┴──────────┴──────┴─────────┘3 rows in set. Elapsed: 0.009 sec. xxxx2 :)
通过两个INSERT语句,创建了两个数据片段。SELECT查询是在两个线程中执行的,我们得到了随机顺序的行。由于尚未合并数据片段,折叠还未发生。我们无法预测ClickHouse在何时执行数据片段的合并。因此,我们需要使用聚合:
SELECTUserID,sum(PageViews * Sign) AS PageViews,sum(Duration * Sign) AS Duration,Version
FROM UAct
GROUP BY UserID, Version
HAVING sum(Sign) > 0;
结果如下:
┌──────────────UserID─┬─PageViews─┬─Duration─┬─Version─┐
│ 4324182021466249494 │ 6 │ 185 │ 2 │
└─────────────────────┴───────────┴──────────┴─────────┘
如果不适用聚合,可以对FROM子句使用FINAL修饰符进行强制合并:
xxxx2 :) select * from UAct FINAL;SELECT *
FROM UAct
FINAL┌──────────────UserID─┬─PageViews─┬─Duration─┬─Sign─┬─Version─┐
│ 4324182021466249494 │ 6 │ 185 │ 1 │ 2 │
└─────────────────────┴───────────┴──────────┴──────┴─────────┘1 rows in set. Elapsed: 0.011 sec. xxxx2 :)
要注意的是使用FINAL的这种数据查询的方法非常低效,不要在大表中使用这种方法。
12.Log Engine Family
这些引擎适用于快速写入许多小数据量(少于100万行)的表,在后续使用时整体读取表数据。
12.1.Log Engine Family:
StripLog
Log
TinyLog
通用属性:
1.数据存储在磁盘上
2.写入时将数据追加到文件末尾
3.支持并发数据访问的锁(写阻塞读/写,读不影响)
4.不支持mutation操作
5.不支持索引
6.不支持原子地写入数据
磁盘文件存储:
1.Log引擎:
# ll /var/lib/clickhouse/data/default/table_log/
-rw-r----- 1 clickhouse clickhouse 168 3月 14 01:38 duration.bin
-rw-r----- 1 clickhouse clickhouse 288 3月 14 01:38 __marks.mrk
-rw-r----- 1 clickhouse clickhouse 168 3月 14 01:38 pageviews.bin
-rw-r----- 1 clickhouse clickhouse 138 3月 14 01:38 sizes.json
-rw-r----- 1 clickhouse clickhouse 258 3月 14 01:38 userid.bin
2.StripeLog引擎
# ll /var/lib/clickhouse/data/default/table_stripelog/
-rw-r----- 1 clickhouse clickhouse 1044 3月 14 01:38 data.bin
-rw-r----- 1 clickhouse clickhouse 536 3月 14 01:38 index.mrk
-rw-r----- 1 clickhouse clickhouse 70 3月 14 01:38 sizes.json
3.TinyLog引擎
# ll /var/lib/clickhouse/data/default/table_tinylog/
-rw-r----- 1 clickhouse clickhouse 168 3月 14 01:37 duration.bin
-rw-r----- 1 clickhouse clickhouse 168 3月 14 01:37 pageviews.bin
-rw-r----- 1 clickhouse clickhouse 107 3月 14 01:37 sizes.json
-rw-r----- 1 clickhouse clickhouse 258 3月 14 01:37 userid.bin
Log Engine Family文件总结:
引擎 | 存储文件数 | 并行查询 | 效率 | mark文件 |
---|---|---|---|---|
Log | 每列一个文件 | 支持 | 高 | 有 |
StripeLog | 所有列一个文件 | 支持 | 较高 | 有 |
TinyLog | 每列一个文件 | 不支持 | 低 | 无 |
12.2.案例
(1)建表
DROP TABLE table_tinylog;
CREATE TABLE table_tinylog(userid UInt64,pageviews UInt8,duration UInt8
)
ENGINE = TinyLog;
DROP TABLE table_log;
CREATE TABLE table_log(userid UInt64,pageviews UInt8,duration UInt8
)
ENGINE = Log;
DROP TABLE table_stripelog;
CREATE TABLE table_stripelog(userid UInt64,pageviews UInt8,duration UInt8
)
ENGINE = StripeLog;
(2)、插入数据
三张表插入同样的数据:
INSERT INTO table_tinylog VALUES (4324182021466249494, 1, 146),(4324182021466249414, 9, 156);
INSERT INTO table_tinylog VALUES (4324182021466249495, 2, 147),(4324182021466249424, 8, 157);
INSERT INTO table_tinylog VALUES (4324182021466249496, 3, 148),(4324182021466249434, 7, 158);
INSERT INTO table_tinylog VALUES (4324182021466249497, 4, 141),(4324182021466249444, 6, 151);
INSERT INTO table_tinylog VALUES (4324182021466249498, 5, 142),(4324182021466249454, 5, 152);
INSERT INTO table_tinylog VALUES (4324182021466249499, 6, 143),(4324182021466249464, 4, 153);
INSERT INTO table_log VALUES (4324182021466249494, 1, 146),(4324182021466249414, 9, 156);
INSERT INTO table_log VALUES (4324182021466249495, 2, 147),(4324182021466249424, 8, 157);
INSERT INTO table_log VALUES (4324182021466249496, 3, 148),(4324182021466249434, 7, 158);
INSERT INTO table_log VALUES (4324182021466249497, 4, 141),(4324182021466249444, 6, 151);
INSERT INTO table_log VALUES (4324182021466249498, 5, 142),(4324182021466249454, 5, 152);
INSERT INTO table_log VALUES (4324182021466249499, 6, 143),(4324182021466249464, 4, 153);
INSERT INTO table_stripelog VALUES (4324182021466249494, 1, 146),(4324182021466249414, 9, 156);
INSERT INTO table_stripelog VALUES (4324182021466249495, 2, 147),(4324182021466249424, 8, 157);
INSERT INTO table_stripelog VALUES (4324182021466249496, 3, 148),(4324182021466249434, 7, 158);
INSERT INTO table_stripelog VALUES (4324182021466249497, 4, 141),(4324182021466249444, 6, 151);
INSERT INTO table_stripelog VALUES (4324182021466249498, 5, 142),(4324182021466249454, 5, 152);
INSERT INTO table_stripelog VALUES (4324182021466249499, 6, 143),(4324182021466249464, 4, 153);
(3)、查看文件系统的数据目录
table_log表(基于Log引擎)
[root@xxxx2 ~]# ll /var/lib/clickhouse/data/default/table_log/
总用量 20
-rw-r----- 1 clickhouse clickhouse 168 11月 30 20:02 duration.bin
-rw-r----- 1 clickhouse clickhouse 48 11月 30 20:02 __marks.mrk
-rw-r----- 1 clickhouse clickhouse 168 11月 30 20:02 pageviews.bin
-rw-r----- 1 clickhouse clickhouse 137 11月 30 20:02 sizes.json
-rw-r----- 1 clickhouse clickhouse 258 11月 30 20:02 userid.bin
[root@xxxx2 ~]#
table_stripelog表(基于StripeLog引擎)
[root@xxxx2 ~]# ll /var/lib/clickhouse/data/default/table_stripelog/
总用量 12
-rw-r----- 1 clickhouse clickhouse 1044 11月 30 20:02 data.bin
-rw-r----- 1 clickhouse clickhouse 536 11月 30 20:02 index.mrk
-rw-r----- 1 clickhouse clickhouse 70 11月 30 20:02 sizes.json
[root@xxxx2 ~]#
table_tinylog表(基于TinyLog引擎)
[root@xxxx2 ~]# ll /var/lib/clickhouse/data/default/table_tinylog/
总用量 16
-rw-r----- 1 clickhouse clickhouse 168 11月 30 20:02 duration.bin
-rw-r----- 1 clickhouse clickhouse 168 11月 30 20:02 pageviews.bin
-rw-r----- 1 clickhouse clickhouse 107 11月 30 20:02 sizes.json
-rw-r----- 1 clickhouse clickhouse 258 11月 30 20:02 userid.bin
[root@xxxx2 ~]#
12_VersionedCollapsingMergeTree,Log Engine Family(Log引擎,StripeLog引擎,TinyLog引擎)相关推荐
- 13_clickhouse,Merge引擎,File引擎,External Data引擎,External Data引擎,Null Engine,URL引擎,Memory、Set、Buffer
13.Merge引擎 13.1.Merge引擎 13.2.案例 14.File引擎 14.1.File引擎 14.2.案例 15.External Data引擎 15.1.External Data引 ...
- Rendering Engine 主流的浏览器内核(排版引擎、渲染引擎、解释引擎)有哪几种,分别的特点...
一.A web browser engine A rendering engine is software that draws text and images on the screen. The ...
- 精讲 MySQL 事务日志:redo log 和 undo log
来源:https://blog.csdn.net/demonson/article/details/104369733 innodb事务日志包括redo log和undo log.redo log是重 ...
- mysql重做日志与binlog日志区别_MySQL日志之binlog、redo log、undo log
1. binlog(二进制日志) 1.1 binlog介绍 binlog记录了对数据库执行更改的所有操作(不包括查询),还包括了执行数据库更改操作的时间和执行时间等信息.binlog主要有两个作用:恢 ...
- mysql存储引擎innodb_MySQL常用存储引擎之Innodb
1. mysql 5.5及之后版本默认存储引擎 为不了解存储引擎的数据库使用者,提供了很大的便利,因为innodb适应大部分应用场景. 和myisam不同的是,innodb是一种事务型存储引擎.也就是 ...
- 一文看懂 redo log 与undo log
<朱子语类>里面有句话:"知其然知其所以然!",笔下回曰:"然也!" . 前两天看到一张图,应该是大学毕业不久后保存的,很现实,当然,也有点黑色幽默 ...
- live2dmesh渲染优先级_Cocos引擎_游戏开发引擎
大家好,引擎组经过了近半年的努力,终于带来了 Cocos Creator 3.0 预览版.Cocos Creator 3.0 集成了原有 2D 和 3D 两套产品的所有功能,带来了诸多重大更新,将做为 ...
- 什么是redo log和undo log
MySQL日志系统中最重要的日志为 重做日志redo log 和 归档日志bin log ,后者为MySQL Server层的日志,前者为InnoDB存储引擎层的日志. 1 重做日志redo log ...
- 必须了解的MySQL三大日志:binlog、redo log和undo log
点击上方"方志朋",选择"设为星标" 回复"666"获取新整理的面试文章 作者: 六点半起床 juejin.im/post/68602522 ...
最新文章
- 程序员必读10本算法书推荐
- android mysql 记事本_android项目 之 记事本(11) ----- 加入数据库
- python使用字典格式化字符串-python实现字符串和字典的转换
- 使用lisp函数控制cursor
- KMM Kotlin expect的几种声明方式
- 为什么查询sap数据库表的时候前面要加sapsr3
- 高并发02_同步锁的一些题目
- java j2se1.5_用J2SE1.5建立多任务的Java应用程序...
- IDE:Eclipse查看Servlet源码
- 只做macd二次金叉_【教你一招】MACD低位二次金叉
- ssh-keygen的使用方法及配置authorized_keys两台linux机器相互认证
- 6502精品仿真软件(联锁)
- 家中买的计算机配置,配置,教您买电脑主要看哪些配置
- 快狗打车,打车新平台,这个猛!
- 毕业答辩的PPT攻略
- 向量余弦值(Cosine)(C#)
- 典型集与Shannon信源编码理论
- C语言制作游戏——贪吃蛇
- MY资源网址整合记录
- 中央批准!985大学,迎来院士校长(副部长级)
热门文章
- wxWidgets:支持插件的程序
- boost::ratio_negate相关的测试程序
- boost::set_difference相关的测试程序
- boost::remove_if相关的测试程序
- boost::mp11::mp_any相关用法的测试程序
- boost::histogram::detail::accumulator_traits用法的测试程序
- boost::geometry::reversible_view用法的测试程序
- boost::coroutine2模块实现相同的边缘的测试程序
- boost::callable_traits的remove_member_volatile_t的测试程序
- Boost:BOOST_ASSERT扩展的用法测试程序