clickhouse HDFS引擎

HDFS

使用方式

ENGINE = HDFS(URI, format)

URI：HDFS文件路径
format：文件格式，比如CSV、JSON、TSV等

使用示例

-- 建表,hdfs上的文件夹要提前存在
CREATE TABLE hdfs_engine_table3
(emp_id     UInt16 COMMENT '员工id',name       String COMMENT '员工姓名',work_place String COMMENT '工作地点',age        UInt8 COMMENT '员工年龄',depart     String COMMENT '部门',salary     Decimal32(2) COMMENT '工资'
) ENGINE = HDFS('hdfs://mypc01:8020/chouse/hdfs_engine_table', 'CSV');-- 写入数据
INSERT INTO hdfs_engine_table3 VALUES (1,'tom','上海',25,'技术部',20000),(2,'jack','上海',26,'人事部',10000);
-- 查询数据
select * from hdfs_engine_table3;
┌─emp_id─┬─name─┬─work_place─┬─age─┬─depart─┬───salary─┐
│      1 │ tom  │ 上海       │  25 │ 技术部 │ 20000.00 │
│      2 │ jack │ 上海       │  26 │ 人事部 │ 10000.00 │
└────────┴──────┴────────────┴─────┴────────┴──────────┘vi ch.csv
--添加不同内容
3,'tom','上海',25,'技术部',20000
hdfs dfs -appendToFile ch.csv /chouse/hdfs_engine_table--再在HDFS上其对应的文件，添加几条数据，再次查看
select * from hdfs_engine_table;┌─emp_id─┬─name─┬─work_place─┬─age─┬─depart─┬───salary─┐
│      1 │ tom  │ 上海       │  25 │ 技术部 │ 20000.00 │
│      2 │ jack │ 上海       │  26 │ 人事部 │ 10000.00 │
│      3 │ tom  │ 上海       │  25 │ 技术部 │ 20000.00 │
└────────┴──────┴────────────┴─────┴────────┴──────────┘

可以看出，这种方式与使用Hive类似，我们直接可以将HDFS对应的文件映射成ClickHouse中的一张表，这样就可以使用SQL操作HDFS上的文件了。

值得注意的是：ClickHouse并不能够删除HDFS上的数据，当我们在ClickHouse客户端中删除了对应的表，只是删除了表结构，HDFS上的文件并没有被删除，这一点跟Hive的外部表十分相似。

注意：要手动先创建目录

clickhouse HDFS引擎相关推荐

16_clickhouse,HDFS引擎，JDBC引擎
21.HDFS引擎 21.1.HDFS引擎 ClickHouse通过该引擎管理HDFS上的数据,从而与Apache Hadoop生态系统集成. 指定表引擎: ENGINE = HDFS(URI, fo ...
ClickHouse表引擎之Integration系列
Integration系统表引擎主要用于将外部数据导入到ClickHouse中,或者在ClickHouse中直接操作外部数据源. 1 Kafka 1.1 Kafka引擎将Kafka Topi ...
ClickHouse表引擎到底怎么选
引言表引擎在ClickHouse中的作用十分关键,直接决定了数据如何存储和读取.是否支持并发读写.是否支持index.支持的query种类.是否支持主备复制等. ClickHouse提供了大约28种 ...
3、ClickHouse表引擎-MergeTree引擎
ClickHouse系列文章 1.ClickHouse介绍 2.clickhouse安装与简单验证(centos) 3.ClickHouse表引擎-MergeTree引擎 4.clickhouse的L ...
ClickHouse表引擎详解
ClickHouse 表引擎 ClickHouse 的表引擎是 ClickHouse 服务的核心,它们决定了 ClickHouse 的以下行为: 1.数据的存储方式和位置. 2.支持哪些查询操作以及如 ...
【clickhouse】ClickHouse表引擎 MergeTree 数据生命周期
1.概述转载:ClickHouse表引擎 MergeTree 数据生命周期 TTL(Time To Live)表示数据的存活时间,在 Merge 中可以为某个字段或者整个表设置TTL. 如果设置列级 ...
【clickhouse】ClickHouse表引擎 MergeTree 索引与数据存储方式一级索引二级索引
1.概述转载:ClickHouse表引擎 MergeTree 索引与数据存储方式 2.一级索引 MergeTree 主键使用 primary key 定义,定义主键后,会将数据依据 index_gr ...
clickhouse表引擎-合并树系列
目录 1 clickhouse表引擎-合并树系列简介 2 MergeTree引擎 2.1 建表语法 2.2 创建最简单的MergerTree引擎表 2.3 插入数据 2.4 查看目录结构 2.5 指定 ...
大数据培训ClickHouse表引擎
表引擎表引擎(即表的类型)决定了: 1)数据的存储方式和位置,写到哪里以及从哪里读取数据 2)支持哪些查询以及如何支持. 3)并发数据访问. 4)索引的使用(如果存在). 5)是否可以执行多线程请求 ...

clickhouse HDFS引擎

HDFS

使用方式

使用示例

clickhouse HDFS引擎相关推荐

最新文章

热门文章