在介绍ClickHouse之前，说一下OLAP。OLAP也叫联机分析处理(Online Analytical Processing)。OLAP系统以维度模型来存储历史数据，其主要存储描述性的数据并且在结构上都是同质的。

01ClickHouseOLAP应用有如下特点：

1、大多数的请求是读请求；
2、每次查询都从数据库中读取大量的行，但是同时又仅需要少量的列；
3、宽表，即每个表包含着大量的列；
4、处理单个查询时需要高吞吐量(每个服务器每秒高达数十亿行)；
5、每一个查询除了一个大表外都很小；
6、查询结果明显小于源数据，换句话说，数据被过滤或聚合后能够被盛放在单台服务器的内存中。

OLAP引擎的痛点：

• SparkSQL & Hive性能不够快；

• Impala对内存要求高，需要依赖Hadoop生态软件和基础。

综上，市面上的OLAP引擎不够理想，这时，ClickHouse来了。ClickHouse由俄罗斯yandex公司开发，专为在线数据分析而设计，能够使用SQL查询生成实时数据报告，在2016年开源。首先，也是ClickHouse最突出的优点：“快”。ClickHouse官方测试对比，1亿的数据集测试中，ClickHouse的性能，比Hive快259倍，比MySQL快801倍；ClickHouse vs Vertica vs Greeplum其次，ClickHouse足够轻量，不依赖Hadoop生态。除了解决上述的问题，ClickHouse还有如下优点：

1、列式存储+数据压缩；
2、并行和分布式查询；
3、支持SQL；
4、实时数据更新。

02

存储需求

ClickHouse作为OLAP的新宠备受关注，国内大厂也纷纷跟进大规模使用。那么ClickHouse对存储有什么需求？ClickHouse早期并没有走Hadoop生态，而是采用Local attached storage(本地存储)的存储方式，其可靠性通过原生支持shard + replication来保障。也可以通过RAID 5方式，来提高磁盘数据的可靠性和读取能力。但ClickHouse存储毕竟不是专业存储，面临着以下几个问题：

1、在ClickHouse众多的表引擎中，又属合并树(MergeTree)表引擎及其家族系列(*MergeTree)最为强大，在生产环境绝大部分场景中都应该使用此系列的表引擎。ReplicatedMergeTree实现了ClickHouse的replication特性，需要依赖ZooKeeper实现分布式系统的协作，当并发写入量较大时，ZooKeeper对表元数据同步有延迟，会成为集群的瓶颈，降低集群整体性能；
2、当数据写入ClickHouse某个节点异常，导致副本间的数据不一致；
3、难扩容，难维护。

针对上述问题，XSKY为用户的ClickHouse需求打造了高可用的软件定义存储解决方案：

• 本身高可用的存储，去中心化设计，不会出现单个瓶颈的情况；

• 强一致性存储系统，保证数据一致性；

• 支持无限制横向扩展，使存储性能与容量同步线性增长，同时配合图形化的管理界面，解决运维问题。

03

ClickHouse on S3

上面提到了MergerTree，这里说一下MergeTree在ClickHouse存储方式。默认情况下ClickHouse的数据存储在/var/lib/clickhouse/data目录下：说明：1、default：数据库名；2、hdfs_engine_table：表名；3、2a1dedbe81258ce26f3c450185e5550811_0：其中的一个part，每次插入数据就会生成一个part，part会不定时的merge成更大的一个part，每个part里的数据都是按照主键排序存储；4、checksums.txt：校验值文件；5、columns.txt：列名文件，记录了表中的所有列名；6、x.bin：每一列的真实数据；7、x.mrk2：每一列的mrk文件；8、primary.idx：主键文件，存储了主键值。早在去年的时候，ClickHouse社区就进了一个PR：https://github.com/ClickHouse/ClickHouse/pull/7946，关于支持S3&HDFS 的计划，并在之后陆续合入了DiskS3，终于在ClickHouse v20.4.2.9版本正式合入PR: https://github.com/ClickHouse/ClickHouse/pull/9646，MergeTree全面支持S3。那么，怎么让ClickHouse的数据存储在S3上？仅需如下两个步骤即可：一、创建存储配置在/etc/clickhouse-server/config.d目录下创建配置文件并添加如下配置：说明：1、YOUR_ENDPOINT：对象存储的endpoint，如：10.0.x.x:8060；2、BUCKET_NAME：桶名；3、OBJECT_PREFIX：对象名前缀；4、AK：对象用户的访问密钥；5、SK：对象用户的秘密密钥。二、创建MergeTree表在创建表时设置上一步骤中创建的存储策略SETTINGS storage_policy = 's3'即可。经过上述两个步骤就可以进行插入删除操作。我们先来看看s3_table是怎么存储到对象存储上的？如下，这么看跟普通的MergeTree没有区别？其实真实的数据已经存储在对象存储上，比如：1_2_2_0/count.txt文件中记录着真正的位置。可通过S3 Browser查看到指定目录下已存了真实数据。

04

应用测试

如上讲述了如何使用对象存储存储ClickHouse的数据，下面就做一个简单的测试。这里使用航班飞行的真实数据。说明：该ClickHouse环境为虚机测试环境，16G的内存，4核CPU，不能体现出性能，仅做功能测试。1、通过如下命令下载2017年的飞行数据：2、创建ontime数据库：3、将下载好的数据导入到ClickHouse：4、进行数据查询：

• 查看导入的数据量：

• 查询2017最受欢迎的目的地：

• 查询最受欢迎的出发城市：

05

总结

近年来ClickHouse发展迅猛，除了其丰富的功能，优秀的性能，还有就是在当下不可忽视的数据量增长。XSKY对象存储可为企业提供全面的云存储安全服务，其可扩展的性能、先进的数据存储和管理功能，更重要的是能够实现ClickHouse的存算分离，让应用更加专注于应用。—END—

推荐阅读

Recommended reading

点击下列标题  资讯

| Hadoop大数据存算分离下，如何解决新旧存储共存？

| 如何解决Hadoop管理百亿小文件瓶颈？

| Hadoop大数据存算分离需要什么样的存储？

| 量身打造Hadoop HDFS高性能客户端，构筑数据湖理想底座

| 「“星”技术」如何将100个Pod挂载卷的时间缩短10倍？

| 「“星”技术」How to Copy Files— FAST'20 论文解读