clickhouse 分布式数据库简介

2024-06-08 21:31:43

目录

一、clickhouse介绍

二、安装与搭建

三、clickhouse设置

四、安装与运行问题

一、clickhouse介绍

clickhouse 是俄罗斯的“百度”Yandex公司在2016年开源的，一款针对大数据实时分析的高性能分布式数据库，与之对应的有hadoop生态hive，Vertica和百度出品的palo。这是战斗民族继nginx后，有开源的一款“核武器”。据官方介绍，clickhouse 有以下优点：

1. 面向列式

2. 数据压缩

3. 多核并行处理

4. 分布式部署

5. 支持sql

6. 向量引擎

7. 实时写入

8. 异步复制

进程名 clickhouse-server

二、安装与搭建

拉取repo源

curl -s https://packagecloud.io/install/repositories/altinity/clickhouse/script.rpm.sh | sudo bash

在root账号下，使用yum安装

yum list 'clickhouse*'

yum –y install 'clickhouse*'

安装完成后，会在$PATH下等到clickhouse-server/ clickhouse-client等命令，可以使用次命令直接启动clickhouse-server

启动server

clickhouse-server --daemon --config-file=/etc/clickhouse-server/config.xml --pid-file=/var/run/clickhouse-server/clickhouse-server.pid

客户端连接

clickhouse-client --host=... --port=... --user=... --password=...

默认：clickhouse-client即可

三、clickhouse设置

clickhouse的server配置，在/etc/clickhouse-server/config.xml及user.xml，前者是clickhouse的系统配置，包括日志，服务部署ip，zk等配置。后者是当前节点服务的配置，包括用户名密码，内存大小限制等

config.xml

四、安装与运行问题

问题：

Include not found: clickhouse_remote_servers

Include not found: clickhouse_compression

Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = Exception: Cannot set max size of core file to 1073741824, e.what() = Exception

解决：

没有开放core文件写入，使用命令： ulimit -c 1073741824，开放即可。

问题：

<Error> Application: DNS error: EAI: -9

解决：

本机没有开放ipv6，只能对ipv4生效。可以考虑在config.xml中，把<listen_host>::</listen_host> 改成<listen_host>0.0.0.0</listen_host>

问题：

:Memory limit (for query) exceeded: would use 9.31 GiB (attempt to allocate chunk of 1048576 bytes), maximum: 9.31 GiB

解决：

修改user.xml里max_memory_usage 值，把他改大一些，默认是953M，不到1G，可以改到2G

clickhouse 分布式数据库简介相关推荐

网商银行×OceanBase：首家云上银行的分布式数据库应用实践
本文整理自 2019 年大数据产业峰会网商银行技术专家杨祥合(花名:宫博)的演讲.本文将带读者深入了解网商银行在金融级分布式数据库 OceanBase 上的应用实践. 网商银行的数据库需求随着移动互 ...
分布式数据库clickhouse、tidb、palo对比
分布式数据库clickhouse.tidb.palo对比前言关注OLAP领域1年多了,目前还是处于混战阶段,各类工具.技术层出不穷.之前做过clickhouse.tidb.palo的测试,本文将从 ...
开源分布式数据库中间件MyCat架构简介（一）——基于MyCat的分库分表，读写分离，水平切分和垂直切分实现原理
目录前言开源分布式数据库中间件MyCat架构简介--MyCat源起一.数据库切分概述:OLTP和OLAP 二.关系型数据库和NoSQL数据库三.关系型数据库和NoSQL数据库的特点及优缺点 1 ...
开源分布式数据库中间件MyCat架构简介（二）——基于MyCat的分库分表，读写分离，水平切分和垂直切分实现原理
目录前言基于MyCat的分库分表,读写分离,水平切分和垂直切分实现原理一.关于Mycat 二.Mycat 实现原理三.MyCat 应用场景四.MyCat 未来展望五.Mycat 中相关概念 ...
巨杉数据库TechDay回顾 | 分布式数据库@民生、Sharding Sphere@京东、ClickHouse@微博
大数据时代,数据早已成为全球战略资源级的存在,数据库也成为了所有应用成功运行的核心.同时,随着创新业务的不断增加,业务的复杂及庞大的体量必然会产生错综复杂且规模巨大的结构化数据,这些都迫使企业对数据库 ...
分布式数据库发展历程SequoiaDB 简介
一.应用程序开发向分布式转型二.数据库如何应对微服务应用框架集中式存储数据紧耦合无法弹性扩张单点故障碎片化存储数据碎片化数据无共享运维成本高分布式存储微服务对应独立实例物理分散 ...
从架构特点到功能缺陷，重新认识分析型分布式数据库
写在前面本文是分布式数据库的总纲文章的第一部分,主要探讨分析性分布式数据库的发展和技术差异:第二部分则是交易性数据库的一些关键特性分析.Ivan开始计划的分布式数据库是不含分析场景的,所以严格来说本 ...
springboot整合oracle_SpringBoot2.x系列教程67--Spring Boot整合分布式事务简介
SpringBoot2.x系列教程67--Spring Boot整合分布式事务简介作者:一一哥一. 分布式事务简介 1. 什么是分布式事务百度百科对分布式事务的解释如下: 分布式事务就是指事务的 ...
.NET Remoting构建分布式数据库查询
引言随着传统的数据库.计算机网络和数字通信技术的快速发展,以数据分布存储和分布处理为主要特征的分布式数据库系统的研究和开发越来越受到人们的关注.微软提供了两种解决方案来为用户实现数据服务,即 .NE ...

最新文章

热门文章