观众朋友们：

晚上好！

欢迎收看【 Doris 近日要闻】~本次为您带来的是 2021年08月02日 ～ 2021年08月15日 的双周总结。

Doris 社区周报每期会包含 FAQ 环节。我们会在社区论坛、Github ISSUE、Dev邮件组以及微信用户群中挑选一些主要问题并在 FAQ 环节中进行解答。

• Dev 邮件组：dev@doris.apache.org

• Github Issue：https://github.com/apache/incubator-doris/issues

• 社区论坛地址：https://github.com/apache/incubator-doris/discussions

▼

1. 统计数据

共29位作者提交了55个 Commit 。感谢以下作者的贡献：

Mingyu Chen, stdpain, qiye, jiafeng.zhang, caiconghui, Pxl, zhangboya1, xy720, luozenglin, CenterCode, zhangstar333, wunan1210, wudi, weizuo93, tinkerrrr, huangmengbin, dixingxing, Zhanfeng Huo, Wang Shuo, Stalary, Qi, PKU-zhoubintao, Lijia Liu, JinLiOnline, HappenLee, Hao Tan, GoGoWen, GeoffreyStark, EmmyMiao87

最近2周，共修改新增代码行 20641 ，删除代码行 3108 。

▼

2. 主要进展

2.1 新增功能

• https://github.com/apache/incubator-doris/pull/6335

  支持通过 alter routine load 语句修改 routine load 的 broker list 和 topic

• https://github.com/apache/incubator-doris/pull/6219

  支持通过 show data skew 命令查看表的数据量分布，以排查数据倾斜问题。

• https://github.com/apache/incubator-doris/pull/6261

  支持通过create alias function 创建函数别名来组合多个函数。

• https://github.com/apache/incubator-doris/pull/6289

  支持通过create sync job命令直接订阅和消费canal解析的binlog数据。方便同步mysql数据源。

• https://github.com/apache/incubator-doris/pull/6247

  https://github.com/apache/incubator-doris/pull/6323

  支持通过 show trash 命令查看BE文件回收站的磁盘占用情况。

  支持通过 clean trash 命令主动清除BE文件回收站的内容。

• https://github.com/apache/incubator-doris/pull/6387

  支持通过alter table 命令修改列注释和表注释。

• https://github.com/apache/incubator-doris/pull/6394

  支持通过 pause/resume all routine load命令一键启停所有routine load job。

• https://github.com/apache/incubator-doris/pull/6192

  支持sql 黑名单功能。

 2.2 WIP

• https://github.com/apache/incubator-doris/pull/6396

  增加 doris manager 相关的 http 接口。

• https://github.com/apache/incubator-doris/pull/6329

  增加向量化执行引擎相关接口。

2.3 Bug修复

• https://github.com/apache/incubator-doris/pull/6342

  修复 routine load 一个潜在的导致 TOO_MANY_TASKS 错误的问题。

• https://github.com/apache/incubator-doris/pull/6348

  修复 decimal 类型的 bloom filter 数据hash值有误的问题。

• https://github.com/apache/incubator-doris/pull/6308

  修复 broker 读取 oss/s3a 存储介质失败的问题。

• https://github.com/apache/incubator-doris/pull/6347

  修复一个Array 类型越界的问题。

• https://github.com/apache/incubator-doris/pull/6374

  修复部分情况下，查询information_schema的ROUTINES表报错的问题。

• https://github.com/apache/incubator-doris/pull/6379

  修复部分情况下，left semi join查询报错的问题。

• https://github.com/apache/incubator-doris/pull/6374

• 修复部分情况下，查询information_schema的ROUTINES表报错的问题。

• https://github.com/apache/incubator-doris/pull/6374

• 修复部分情况下，查询information_schema的ROUTINES表报错的问题。

2.4 功能改进

• https://github.com/apache/incubator-doris/pull/6339

  FE端常量表达式支持 timestamp 函数。

• https://github.com/apache/incubator-doris/pull/6361

  提升BE端整型转字符串类型的效率。

• https://github.com/apache/incubator-doris/pull/6350

  优化money_format函数效率。

• https://github.com/apache/incubator-doris/pull/6321

  优化BE端扫描错误文件时的锁竞争问题。

• https://github.com/apache/incubator-doris/pull/6365

  优化compaction选取逻辑以支持对增加执行alter操作的数据分片进行compaction。避免潜在的数据版本堆积问题。

• https://github.com/apache/incubator-doris/pull/6243

  flink-doris-connector支持设置stream load相关参数。

• https://github.com/apache/incubator-doris/pull/6373

  DataX doriswriter插件支持使用csv格式进行数据导入。

2.5 文档

• https://github.com/apache/incubator-doris/pull/6344

  https://github.com/apache/incubator-doris/pull/6349

  https://github.com/apache/incubator-doris/pull/6352

  https://github.com/apache/incubator-doris/pull/6353

  增加 stream load 、mybatis、flink cdc代码示例。

  增加systemd配置文件示例。

▼

3. FAQ

Q：invalid cluster id: xxxx

A：

这个错误可能会在show backends 或 show frontends 命令的结果中出现。通常出现在某个FE或BE节点的错误信息列中。这个错误的含义是，Master FE向这个节点发送心跳信息后，该节点发现心跳信息中携带的 cluster id和本地存储的 cluster id不同，所以拒绝回应心跳。

Doris的 Master FE 节点会主动发送心跳给各个FE或BE节点，并且在心跳信息中会携带一个cluster_id。cluster_id是在一个集群初始化时，由Master FE生成的唯一集群标识。当FE或BE第一次收到心跳信息后，则会将cluster_id以文件的形式保存在本地。FE的该文件在元数据目录的image/目录下，BE则在所有数据目录下都有一个cluster_id文件。之后，每次节点收到心跳后，都会用本地cluster_id的内容和心跳中的内容作比对，如果不一致，则拒绝响应心跳。

该机制是一个节点认证机制，以防止接收到集群外的节点发送来的错误的心跳信息。

如果需要恢复这个错误。首先要先确认所有节点是否都是正确的集群中的节点。之后，对于FE节点，可以尝试修改元数据目录下的 image/VERSION 文件中的 cluster_id 值后重启FE。对于BE节点，则可以删除所有数据目录下的 cluster_id 文件后重启 BE。

Q：Doris 是否支持修改列名？

A：

不支持修改列名。

Doris支持修改数据库名、表名、分区名、物化视图（Rollup）名称，以及列的类型、注释、默认值等等。但遗憾的是，目前不支持修改列名。

因为一些历史原因，目前列名称是直接写入到数据文件中的。Doris在查询时，也是通过类名查找到对应的列的。所以修改列名不仅是简单的元数据修改，还会涉及到数据的重写，是一个非常重的操作。

我们不排除后续通过一些兼容手段来支持轻量化的列名修改操作。

Q：Unique Key模型的表是否支持创建物化视图？

A：

不支持。

Unique Key模型的表是一个对业务比较友好的表，因为其特有的按照主键去重的功能，能够很方便的同步数据频繁变更的业务数据库。因此，很多用户在将数据接入到Doris时，会首先考虑使用Unique Key模型。

但遗憾的是，Unique Key模型的表是无法建立物化视图的。原因在于，物化视图的本质，是通过预计算来将数据“预先算好”，这样在查询时直接返回已经计算好的数据，来加速查询。在物化视图中，“预计算”的数据通常是一些聚合指标，比如求和、求count。这时，如果数据发生变更，如udpate或delete，因为预计算的数据已经丢失了明细信息，因此无法同步的进行更新。比如一个求和值5，可能是 1+4，也可能是2+3。因为明细信息的丢失，我们无法区分这个求和值是如何计算出来的，因此也就无法满足更新的需求。

-- END --

【往期回顾】

Doris Weekly & FAQ】2021.07.19~2021.08.01

【Doris Weekly & FAQ】2021.07.05~2021.07.18

【Doris Weekly & FAQ】2021.06.21~2021.07.04

【精彩文章】

社区活动｜ Apache Doris 社区开发者会议议题征集中
社区人物志｜李荣谦：取之社区，回馈社区
社区人物志｜王博：每一位你，都是前进道路上的一团星光。
社区人物志｜张家锋：一个人可能走得更快，但一群人会走得更远

欢迎扫码关注：

Apache Doris(incubating)官方公众号

相关链接：

Apache Doris官方网站：

http://doris.incubator.apache.org

Apache Doris Github：

https://github.com/apache/incubator-doris

Apache Doris 开发者邮件组：

dev@doris.apache.org