场景引擎是什么意思_初识ClickHouse、大数据多场景的热捧者

点击蓝字获取更多精彩信息

编

者

说

Clickhouse是一个用于联机分析处理(OLAP)的列式数据库管理系统(columnar DBMS)。随着业务的增长走到尽头，查询会变得越来越慢。你可能通过增加更多的内存，订购更快的磁盘等等来解决问题(纵向扩展)，但这只是拖延解决本质问题。如果你的需求是解决怎样快速查询出结果，那么ClickHouse也许可以解决你的问题。

ClickHouse介绍：

特点
适用场景
核心概念

最佳实践：

安装部署
分布式集群
表的创建
数据写入
业务查询
集群监控

介绍

science ＆ technology

ck的来源和基本介绍我们上边已经说过了，对于他的特点无非也是对传统数据库及hadoop、spark这些巨无霸的某些方面有独特的性能，简单点说就是列式存储数据库，数据压缩；关系型、支持SQL；分布式并行计算，把单机性能压榨到极限；高可用；数据量级在PB级别。

适用场景从社区分享的案例看主要有以下3类：日志数据的行为分析，标签画像的分析，数据集市层分析。

接下来我们再说说他的几个基本的概念：

1、表引擎(Engine)

表引擎决定了数据在文件系统中的存储方式，常用的也是官方推荐的存储引擎是MergeTree系列，当然引擎的选择需要适用于场景的需求，后面我们会细讲。

2、表分区(Partition)

表中的数据可以按照指定的字段分区存储，每个分区在文件系统中都是都以目录的形式存在。常用时间字段作为分区字段，数据量大的表可以按照小时分区。如果你了解过hbase、hive的分区，你会很容易理解。

3、分片(Shard)

一个分片本身就是ClickHouse一个实例节点、获取你还在ES中听过分片这个词，其实也差不多，对于集群模式，多个分片组成集群。

4、复制集(Replication)

简单理解就是相同的数据备份，在ClickHouse中通过复制集，我们实现了保障数据可靠性外，也通过多副本的方式，增加了ClickHouse查询的并发能力、我们在联想一下ES，就是ES的副本这个逻辑嚒。

5、集群(Cluster)

多个ClickHouse实例组成一个集群，哦对，就是你理解的集群那个意思。

实践

▶ 部署安装

ClickHouse安装部署需要四个安装包：clickhouse-client.rpmclickhouse-common-static.rpmclickhouse-server.rpmclickhouse-server-common4.rpm

最后执行rpm -ivh * 即可完成安装。

▶分布式集群

集群图例

集群关系展示

▶ 表的创建

(1) 创建本地表

(2)创建分布式表

▶ 数据的写入

load2clickhouse.sh: clickhouse-client --host=192.168.40.72 --port=9000 --query="INSERT INTO default.taxi FORMAT CSV" < /data2/ck_test/1e_A.csv

nohup time sh load2clickhouse.sh > insert.log 2>&1 &

load2clickhouse73.sh: clickhouse-client --host=192.168.40.73 --port=9000 --query="INSERT INTO default.taxi FORMAT CSV" < /data1/ck_test/1e_B.csv

nohup time sh load2clickhouse73.sh > insert73.log 2>&1 &

▶ 业务查询

ClickHouse的JDBC客户端是通过HTTP的方式与ClickHouse进行交互的，我们可以判断场景的可以基于HTTP协议做负载均衡，路由的中间件是可以满足需求的，这样我们的选择其实就有很多了。基于传统运维常见中间件的如：LVS,Nginx，HAProxy都有相关的能力，这里我们选用了Nginx。

▶ 集群监控

基于Grafana将这些业务信息进行了可视化展现。

最后简单说一下表引擎

VvV

TinyLog

最简单的一种引擎，每一列保存为一个文件，里面的内容是压缩过的，不支持索引
这种引擎没有并发控制，所以，当你需要在读，又在写时，读会出错。并发写，内容都会坏掉。

Log

为孩子的全面发展、综合素质的全面提高，让您的孩子既能巩固以前所学的知识，做好暑假作业，并对即将开始新一学期所要学习的知识有个系统的把握。

Memory

内存引擎，数据以未压缩的原始形式直接保存在内存当中，服务器重启数据就会消失可以并行读，读写互斥锁的时间也非常短

Distributed

与 Merge 类似， Distributed 也是通过一个逻辑表，去访问各个物理表

MergeTree

这个引擎是 ClickHouse 的重头戏，它支持一个日期和一组主键的两层式索引，还可以实时更新数据。

。。。。。。。

更多引擎说明，可以去官网细研，地址：https://clickhouse.tech