Doris之Schema Change

用户可以通过 Schema Change 操作来修改已存在表的 Schema。目前 Doris 支持以下几种修改:

增加、删除列
修改列类型
调整列顺序
增加、修改 Bloom Filter
增加、删除 bitmap index

原理介绍

执行 Schema Change 的基本过程，是通过原 Index 的数据，生成一份新 Schema 的 Index 的数据。
其中主要需要进行两部分数据转换，
一是已存在的历史数据的转换，
二是在 Schema Change 执行过程中，新到达的导入数据的转换。

在开始转换历史数据之前，Doris 会获取一个最新的 Transaction ID。并等待这个 Transaction ID 之前的所有导入事务完成。这个 Transaction ID 成为分水岭。意思是，Doris 保证在分水岭之后的所有导入任务，都会同时为原 Index 和新 Index 生成数据。这样当历史数据转换完成后，可以保证新的 Index 中的数据是完整的。

注意事项

一张表在同一时间只能有一个 Schema Change 作业在运行。

Schema Change 操作不阻塞导入和查询操作。

分区列和分桶列不能修改。

如果 Schema 中有 REPLACE 方式聚合的 value 列，则不允许删除 Key 列。

如果删除 Key 列，Doris 无法决定 REPLACE 列的取值。

Unique 数据模型表的所有非 Key 列都是 REPLACE 聚合方式。

在新增聚合类型为 SUM 或者 REPLACE 的 value 列时，该列的默认值对历史数据没有含义。

因为历史数据已经失去明细信息，所以默认值的取值并不能实际反映聚合后的取值。

当修改列类型时，除 Type 以外的字段都需要按原列上的信息补全。

如修改列 k1 INT SUM NULL DEFAULT “1” 类型为 BIGINT，则需执行命令如下：

ALTER TABLE tbl1 MODIFY COLUMN k1 BIGINT SUM NULL DEFAULT “1”;

注意，除新的列类型外，如聚合方式，Nullable 属性，以及默认值都要按照原信息补全。

不支持修改列名称、聚合类型、Nullable 属性、默认值以及列注释。

常见问题

Schema Change 的执行速度

目前 Schema Change 执行速度按照最差效率估计约为 10MB/s。保守起见，用户可以根据这个速率来设置作业的超时时间。

提交作业报错 Table xxx is not stable. …

Schema Change 只有在表数据完整且非均衡状态下才可以开始。如果表的某些数据分片副本不完整，或者某些副本正在进行均衡操作，则提交会被拒绝。

数据分片副本是否完整，可以通过以下命令查看：

ADMIN SHOW REPLICA STATUS FROM tbl WHERE STATUS != “OK”;

如果有返回结果，则说明有副本有问题。通常系统会自动修复这些问题，用户也可以通过以下命令优先修复这个表：

ADMIN REPAIR TABLE tbl1;

用户可以通过以下命令查看是否有正在运行的均衡任务：

SHOW PROC “/cluster_balance/pending_tablets”;

可以等待均衡任务完成，或者通过以下命令临时禁止均衡操作：

ADMIN SET FRONTEND CONFIG (“disable_balance” = “true”);

FE 配置

alter_table_timeout_second：作业默认超时时间，86400 秒。

BE 配置

alter_tablet_worker_count：在 BE 端用于执行历史数据转换的线程数。默认为 3。如果希望加快 Schema Change 作业的速度，可以适当调大这个参数后重启 BE。但过多的转换线程可能会导致 IO 压力增加，影响其他操作。该线程和 Rollup 作业共用。