clickhouse 生产集群部署之坑坑洼洼

之前看过ck中文社区，看到了很多莫名其妙的Exception 但并没有解答。自己测试集群小量数据抽取也没有遇到这些问题。

果不其然，生产集群部署都跳了一遍

新增相关配置：网上找的，与我原本的配置的一些不同点

<receive_timeout>800</receive_timeout>
<send_timeout>800</send_timeout>
<keep_alive_timeout>300</keep_alive_timeout>
<default_session_timeout>300</default_session_timeout>

我也没有添加的配置：
<merge_tree>
   <parts_to_delay_insert>300</parts_to_delay_insert>
   <parts_to_throw_insert>600</parts_to_throw_insert>
   <max_delay_to_insert>2</max_delay_to_insert>
   </merge_tree>

报错大致信息：

1.Too many parts (606). Merges are processing significantly slower than inserts

2. ERROR server.TransportRequestHandler: Error while invoking RpcHandler#receive() for one-way message.

3.read time out

4.ERROR cluster.YarnScheduler: Lost executor 174 on hadoop1: Container marked as failed: container_xx on host: hadoop1.
Exit status: 143. Diagnostics: Container killed on request.

5.DB::Exception: Possible deadlock avoided. Client should retry. (version 19.15.3.6 (official build)) (from [::1]:38736) (in query: SELECT * FROM dwd_ms_complex_detail_di_cluster LIMIT 1), Stack trace:

问题描述：

1.merge速度跟不上插入速度，也就是insert，可能原因：数据是否可能跨多个分区，如果这样的话每次写入有多个partition， merge压力很大

2.同1一起处理，可适当减少并发，同时修改numpartition

3.超时问题，可适当增加超时时间并添加 socketTimeout=600000 具体数自己测

4.yarn资源问题单个excutor 内存不足处理不过来，适当减少批次量（此处是waterdrop 设置的默认 20000 因为ck大批量小批次特性并结合yarn资源我设置了500000）

5.可能是truncate table导致数据删除不完全，解决方法：去存储位置，删数据吧

clickhouse 生产集群部署之坑坑洼洼相关推荐

clickhouse 生产集群部署之坑坑洼洼（二）
clickhouse时间时区问题, 配置文件:clickhouse.config.xml 配置标签:<timezone>Asia/Shanghai</timezone> 机器系 ...
clickhouse 生产集群部署之坑坑洼洼（三）
Join 语句问题 SELECT <expr_list> FROM <left_subquery> [GLOBAL] [ANY|ALL] INNER|LEFT|RIGHT|FU ...
ClickHouse分布式集群部署
前提: 首先每个集群上搭建zookeeper集群. ZooKeeper入门(五)配置集群和选举机制_怪只怪满眼尽是人间烟火的博客-CSDN博客一. 配置集群1. 准备多台ZooKeeper服务器 2. ...
进阶-第92_es生产集群部署之必须根据自己的集群设置的一些重要参数
1.es的默认参数 es的默认参数是非常好的,适合绝大多数的情况,尤其是一些性能相关的配置.因此刚开始部署一个生产环境下的es集群时,几乎所有的配置参数都可以用默认的设置.有很多的生产环境场景下,都是 ...
ES生产集群部署之必须根据自己的集群设置的一些重要参数
1.es的默认参数 es的默认参数是非常好的,适合绝大多数的情况,尤其是一些性能相关的配置.因此刚开始部署一个生产环境下的es集群时,几乎所有的配置参数都可以用默认的设置.有很多的生产环境场景下,都是 ...
白话Elasticsearch70-ES生产集群部署之production mode下启动时的bootstrap check
文章目录概述官方文档什么是bootstrap check(启动时检查)? development mode vs. production mode heap size check file de ...
白话Elasticsearch69-ES生产集群部署重要的 Elasticsearch参数设置
文章目录 ES的重要参数设置官方文档 Path settings Cluster name Node name Network host Discovery settings Heap size H ...
ClickHouse 详细集群部署方案
基本介绍: ClickHouse 来自俄罗斯最大的搜索公司Yandex,配置文件中可以看到Yandex的样子,于2016年开源. ClickHouse是面向OLAP的分布式列式DBMS,OLAP(在线 ...
白话Elasticsearch71-ES生产集群部署之各个节点以daemon模式运行以及优雅关闭
文章目录概述官方指导启动 ES 优雅的关闭 ES 概述继续跟中华石杉老师学习ES,第71篇课程地址: https://www.roncoo.com/view/55 官方指导启动ES htt ...

clickhouse 生产集群部署之坑坑洼洼

clickhouse 生产集群部署之坑坑洼洼相关推荐

最新文章

热门文章