1.概述

转载：添加链接描述

相信很多同学在刚开始使用clickhouse的时候都有遇到过该异常，出现异常的原因是因为MergeTree的merge的速度跟不上目录生成的速度, 数据目录越来越多就会抛出这个异常, 所以一般情况下遇到这个异常，降低一下插入频次就ok了，单纯调整background_pool_size的大小是治标不治本的。

我们的场景：

我们的插入速度是严格按照官方文档上面的推荐”每秒不超过1次的insert request”，但是有个插入程序在运行一段时间以后抛出了该异常，很奇怪。

问题排查：

排查发现失败的这个表的数据有一个特性，它虽然是实时数据但是数据的eventTime是最近一周内的任何时间点，我们的表又是按照day + hour组合分区的那么在极限情况下，我们的一个插入请求会涉及7*24分区的数据，也就是我们一次插入会在磁盘上生成168个数据目录(文件夹)，文件夹的生成速度太快，merge速度跟不上了，所以官方文档的上每秒不超过1个插入请求，更准确的说是每秒不超过1个数据目录。

case study：

分区字段的设置要慎重考虑，如果每次插入涉及的分区太多，那么不仅容易出现上面的异常，同时在插入的时候也比较耗时，原因是每个数据目录都需要和zookeeper进行交互。

M.参考

【clickhouse】clickhouse 同时查询数过多 Too many simultaneous queries

【clickhouse】Too many parts . Merges are processing significantly slower than inserts相关推荐

【ClickHouse】查看数据库容量和表大小的方法（system.parts各种操作方法）
文章目录 1.概述本文为博主九师兄(QQ:541711153 欢迎来探讨技术)原创文章,未经允许博主不允许转载. 1.概述转载:[ClickHouse]查看数据库容量和表大小的方法(system. ...
【Clickhouse】Clickhouse 整合 Prometheus 监控运行时状态
1.概述转载:ClickHouse运行时状态监控类似:[clickhouse]docker 下搭建 clickhouse 监控 Clickhouse 在运行时会将一些运行装白保存到系统表中,在对 ...
【clickhouse】clickhouse 副本与分片分片详解
1.概述转载:[clickhouse]clickhouse 副本与分片分片详解 clickhouse 中每个服务器节点都可以被称为一个 shard(分片). 假设有 N 台服务器,每个服务器上都有 ...
【Clickhouse】Connection is currently waiting for an insert operation, check your previous InsertState
文章目录 1.概述 1.概述在[clickhouse]clickhouse 如何实现tcp方式发送数据文章中我们实现了,tcp方式写入到ck. Class.forName("com.gi ...
【clickhouse】clickhouse表引擎之 kafka 表引擎卡死
文章目录 1.概述 2.官网 2.1 创建表 2.1.1 卡死 2.2 例子: 2.3 描述 2.4 配置 2.5 Kerberos 支持 1.概述官网:kafka 表引擎建议看官网. 参考文章: ...
【clickhouse】clickchouse的分区合并速度小于插入速度会怎么样
文章目录 1.概述 1.概述问题: clickchouse的分区合并速度小于插入速度会咋样啊? 我们10秒插入一下我们插入这么快的话会影响到clickhouse的合并吗? 怎么缓解呢? 参考:[c ...
【clickhouse】clickhouse clickhouse-client 使用
文章目录 1.概述 2.配置文件 1.概述 ClickHouse 自己的 clickhouse-client 使用的是"原生"的 TCP 连接来完成与服务端的交互,而在应用中用它的 ...
【clickhouse】docker安装clickhouse后本地无法连接
文章目录 1.背景 1.背景参考文章:[clickhouse]mac 10.15.7使用docker安装clickhouse 在本地搭建了一个单机版本的ck,然后今天尝试本地连接,结果发现端口正确, ...
【clickhouse】clickhouse源码 Distributed之表select流程
文章目录 1.概述 2.Distributed之表查询流程 1.概述转载:[ClickHouse源码]Distributed之表select流程仅仅转载一下,防止以后用到 2.Distribute ...

【clickhouse】Too many parts . Merges are processing significantly slower than inserts

1.概述

M.参考

【clickhouse】Too many parts . Merges are processing significantly slower than inserts相关推荐

最新文章

热门文章