ClickHouse 之 FORMAT 应用

ClickHouse是支持将外部数据插入到数据库的，也支持直接查询外部数据文件，同时支持将查询结果直接写入到文件中，这些都需要用到FORMAT参数。虽然这些功能已经非常强大了，但是个人觉得CH对IO数据格式的支持还是离Python等很远很远（不管是广度还是读取识别的准确性）。

1.FORMAT的应用
1）外部数据插入ClickHouse数据库
语法示例如下：

clickhouse-client --port 9000 -u default  -h 127.0.0.1 --query="INSERT INTO test FORMAT CSV"  < /home/clickhouse/test.csv

cat /home/clickhouse/test.csv | clickhouse-client --port 9000 -u default  -h 127.0.0.1 --query="INSERT INTO test FORMAT CSV" --input_format_allow_errors_num=100000

2）直接查询外部数据，
需要在clickhouse-client中查询。示例如下：

clickhouse-client --port 9000 -u default  -h 127.0.0.1 --password='clickhouse@123' --query="select count() from like" --external --file=/home/clickhouse/cluster.csv --name=like --format=CSV --types="String,UInt32,UInt32,UInt32,String,String,UInt16,UInt8,String,String"

这里的format是配合表引擎中小数据表引擎-External data来使用。其实就是给外部数据建了个临时表然后查询。

ClickHouse官网详细解释

https://clickhouse.tech/docs/en/engines/table-engines/special/external-data/

3）数据查询结果写入外部文件中

需要在clickhouse-client中查询，数据是写入到client端，而不是服务器端。什么意思呢？clickhouse-client启动的时候是可以带host和port参数的，也就是我可以A机器上的客户端连接B机器上的服务端，数据会写入到A机器上面。另外，http连接的情况是不支持写入的。
示例如下：

4）查询结果打印到Terminal的显示格式
语法和显示效果示例如下：

FORMAT支持的种类

ClickHouse官网详细解释 Formats for Input and Output Data

https://clickhouse.tech/docs/en/interfaces/formats/

更多精彩内容欢迎关注微信公众号

ClickHouse 之 FORMAT 应用相关推荐

ClickHouse vs StarRocks 全场景MPP数据库选型对比
ClickHouse vs StarRocks 选型对比面向列存的 DBMS 新的选择 Hadoop 从诞生已经十三年了,Hadoop 的供应商争先恐后的为 Hadoop 贡献各种开源插件,发明各种 ...
【clickhouse】clickhouse NO DELAY, INTO OUTFILE, SETTINGS, ON, FORMAT, Dot, SYNC, token
文章目录 1.概述 1.概述 clickhouse建表报错 1fe7c44838a1 :) drop table xx-xx-flow;Syntax error: failed at position ...
ES不香吗，为啥还要ClickHouse？
Elasticsearch 是一个实时的分布式搜索分析引擎,它的底层是构建在 Lucene 之上的.简单来说是通过扩展 Lucene 的搜索能力,使其具有分布式的功能. ES 通常会和其它两个开源组件 ...
ClickHouse系列教程八：从一个服务器导入4T数据到另外一个服务器
ClickHouse系列教程: ClickHouse系列教程遇到了一个问题,就是如何把数据从一个服务器导入到另外一个服务器. 最初的想法是把数据都导出到CSV文件,然后再从CSV文件导入,做法如下: ...
ClickHouse系列教程二：使用航班飞行数据
ClickHouse系列教程: ClickHouse系列教程根据官方提供的教程:ClickHouse Quick Start Guide 先下载数据:ontime.csv.xz - Yandex.D ...
clickhouse 新增列_ClickHouse入门记录
安装我写了个脚本放在 gist 可以执行以下命令来自动安装: curl -L https://gist.githubusercontent.com/emacsist/ebb98839c814cdb2 ...
clickhouse安装包_ClickHouse单机部署
今天给大家分享ClickHouse的单节点部署,单节点部署是集群部署的前提,今天就先来看看单机怎么部署吧,集群部署以及ClickHouse的相关介绍将放在后面讲解单节点部署环境准备操作系统 Ce ...
clickhouse 航空数据_ClickHouse空间分析运用
ClickHouse ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS). OLAP场景的关键特征绝大多数是读请求数据以相当大的批次(> 1000行)更新,而 ...
ClickHouse【环境搭建 02】设置用户密码的两种方式（明文+SHA256）及新用户添加及只读模式 Cannot execute query in readonly mode 问题解决
1.查看user.xml文件可知设置密码的多种方式 <!-- Password could be specified in plaintext or in SHA256 (in hex form ...
Clickhouse Engine kafka 将kafka数据同步clickhouse
本篇文章转自:https://blog.csdn.net/weixin_41461992/article/details/106790507 起因由于需要做各种数据库摆渡到kafka的组件研究. 其 ...

ClickHouse 之 FORMAT 应用

ClickHouse 之 FORMAT 应用相关推荐

最新文章

热门文章