ClickHouse and K8s

最近k8s热度很高，于是调研一下clickhouse on k8s 的相关资料，并总结如下：

情景一：

用 ClickHouse 记录 K8S 产生的集群日志。

1. 为什么不用es : es上手难度高，故障排查困难，维护索引和映射麻烦，性能不高.

es优势：固定文本结构与格式、日志处理、分析不需要全文索引。

个人认为：es 处理日志，文本，模糊查询之类的优势还是很大的。

个人觉得ES能支持就不需要 ch，除非公司统一技术栈，需要移植到clickhouse

2.Loki : 接触不多，总结：轻量级，对 Prometheus / Grafana 支持较好。无测试经历。

流程：node -> Flunet bit -> 定制开发output -> Clickhouse

具体可参照： http://dockone.io/article/9356

情景二：

用 K8S 部署 ClickHouse 集群。

效果：

1. 在 K8S 中部署 ClickHouse 集群，加强了对CH系统性能等方面的监控，管理更加便捷。

2. 以往监控可能分布在Zabbix Prometheus Grafana 等诸多平台，由此统一在K8S上。

3.利用K8S，对集群方便日常操作可能会方便一些。

总结：有K8S应用场景，可尝试添加Clickhouse 测试集群。

参照：https://github.com/Altinity/clickhouse-operator

https://github.com/Altinity/clickhouse-operator/blob/master/docs/custom_resource_explained.md

https://github.com/xiaods/k8s-clickhouse-v2

ClickHouse and K8s相关推荐

ClickHouse CTO空降中国开发者和用户沙龙，B站、小红书、携程、阿里云携手分享ClickHouse实践
ClickHouse由于其性能方面的突出优势,正在分析型数据库领域掀起一波新的技术浪潮.ClickHouse有哪些最新的特性?如何帮助企业实现降本提效?如何在海量数据场景下落地实践? 3月25日,CS ...
容器服务：metrics-server 安装探索
系列文章: 容器 & 服务:开篇,压力与资源容器 & 服务:一个 Java 应用的 Docker 构建实战容器 & 服务:Docker 应用的 Jenkins 构建容器 ...
loghouse介绍
目录前言架构 1.组件&功能查询语言(query language) 文档前言 loghouse项目是创建于2017年,旨在为k8s集群提供容器日志管理方案.(ps:当时并没有ELK等 ...
clickhouse hbase性能对比_QQ音乐PB级ClickHouse实时数据平台架构演进之路
OLAP(On-Line Analytical Processing),是数据仓库系统的主要应用形式,帮助分析人员多角度分析数据,挖掘数据价值.本文基于QQ音乐海量大数据实时分析场景,通过QQ音乐与腾 ...
k8s prometheus/grafana 监控系统建设
全栈工程师开发手册 (作者:栾鹏) 架构系列文章 prometheus架构其中 1.pushgateway是用来接收业务推送的数据形成metrics接口. 2.exporter是用来监控组件(三方中 ...
k8s优先级priority的使用
全栈工程师开发手册 (作者:栾鹏) 架构系列文章直接使用kubectl explain pod.spec命令可以看到当前k8s支持的priority的属性我这边的是1.15的k8s,可以看到的是 ...
clickhouse 部署+介绍
介绍 Clickhouse是一个用于联机分析处理(OLAP)的列式数据库管理系统(columnar DBMS). 传统数据库在数据大小比较小,索引大小适合内存,数据缓存命中率足够高的情形下能正常提供服 ...
QQ音乐PB级ClickHouse实时数据平台架构演进之路
导语 | OLAP(On-Line Analytical Processing),是数据仓库系统的主要应用形式,帮助分析人员多角度分析数据,挖掘数据价值.本文基于QQ音乐海量大数据实时分析场景,通过Q ...
零信任策略下K8s安全监控最佳实践（K+）
云原生架构新风险与需求概述安全风险概述传统的网络安全架构理念是基于边界的安全架构,企业构建网络安全体系时,首先要做的是寻找安全边界,把网络划分为外网.内网等不同的区域,然后在边界上部署防火墙.入侵 ...

ClickHouse and K8s

ClickHouse and K8s相关推荐

最新文章

热门文章