Doris Weekly FAQ】2021.07.19~2021.08.01
观众朋友们:
晚上好!
欢迎收看【 Doris 近日要闻】~本次为您带来的是 2021年07月19日 ~ 2021年08月01日 的双周总结。
Doris 社区周报每期会包含 FAQ 环节。我们会在社区论坛、Github ISSUE、Dev邮件组以及微信用户群中挑选一些主要问题并在 FAQ 环节中进行解答。
Dev 邮件组:dev@doris.apache.org
Github Issue:https://github.com/apache/incubator-doris/issues
社区论坛地址:http://ai.baidu.com/forum/topic/list/209/0/167
▼
1. 统计数据
共20位作者提交了33个 Commit 。感谢以下作者的贡献:
jiafeng.zhang, weizuo93, HappenLee, xy720, stdpain, qiye, caiconghui, Xinyi Zou, Mingyu Chen, xinghuayu007, pengxiangyu, luozenglin, huangmengbin, Zhengguo Yang, Xiang Wei, Tobiasz Kędzierski, Henry2SS, GoGoWen, EmmyMiao87, DinoZhang
最近2周,共修改新增代码行 13525 ,删除代码行 1500 。
▼
2. 主要进展
2.1 新增功能
https://github.com/apache/incubator-doris/pull/6115
支持为AES_ENCRYPT和AES_DECRYPT函数创建自定义公钥。
https://github.com/apache/incubator-doris/pull/6233
支持在SQL查询规划阶段,利用BE的函数计算能力计算所有常量表达式。
https://github.com/apache/incubator-doris/pull/6223
ODBC外表支持SQLServer。
https://github.com/apache/incubator-doris/pull/6245
支持事务性insert操作。
https://github.com/apache/incubator-doris/pull/6214
支持通过show load profile查看broker load的导入执行profile。
https://github.com/apache/incubator-doris/pull/6230
Unique Key模型支持Update语法。
https://github.com/apache/incubator-doris/pull/6333
支持LDAP登陆验证。
2.2 Bug修复
https://github.com/apache/incubator-doris/pull/6266
修复Grouping Set和Order By同时使用可能产生的规划错误。
https://github.com/apache/incubator-doris/pull/6273
修复日期格式化函数的错误。
https://github.com/apache/incubator-doris/pull/6305
修复runtime filter在处理null值的错误问题。
https://github.com/apache/incubator-doris/pull/6284
修复Spark Load计算bool类型的hash值错误的问题。
https://github.com/apache/incubator-doris/pull/6317
修复memtable写入多个segment时可能导致BE进程宕机的问题。
2.3 功能改进
https://github.com/apache/incubator-doris/pull/6200
提升FE处理tablet汇报的性能。
https://github.com/apache/incubator-doris/pull/6099
BE端读取数据时,共享schema数据结构以提升效率。
https://github.com/apache/incubator-doris/pull/6253
优化lower和upper函数的执行效率。
https://github.com/apache/incubator-doris/pull/6274
优化Join算子的代价计算模型。
https://github.com/apache/incubator-doris/pull/6207
重构FE端元数据镜像文件的格式,以方便扩展。
https://github.com/apache/incubator-doris/pull/6293
优化zonemap的生成逻辑,避免生成过大的zonemap索引条目。
2.4 文档
https://github.com/apache/incubator-doris/pull/6231
创建demo文档库,丰富Apache Doris的使用示例说明。
▼
3. FAQ
Q:tablet writer write failed, tablet_id=27306172, txn_id=28573520, err=-235 or -215
A:
这个错误通常发生在数据导入操作中。新版错误码为 -235,老版本错误码可能是 -215。这个错误的含义是,对应tablet的数据版本超过了最大限制(默认500),后续写入将被拒绝。比如问题中这个错误,即表示 27306172 这个tablet的数据版本超过了限制。
这个错误通常是因为导入的频率过高,大于后台数据的compaction速度,导致版本堆积并最终超过了限制。此时,我们可以先通过show tablet 27306172 语句,然后执行结果中的 show proc 语句,查看tablet各个副本的情况。结果中的 versionCount即表示版本数量。如果发现某个副本的版本数量过多,则需要降低导入频率或停止导入,并观察版本数是否有下降。如果停止导入后,版本数依然没有下降,则需要去对应的BE节点查看be.INFO日志,搜索tablet id以及 compaction关键词,检查compaction是否正常运行。关于compaction调优相关,可以参阅:Doris 最佳实践-Compaction调优(3)
Q:tablet 110309738 has few replicas: 1, alive backends: [10003]
A:
这个错误可能发生在查询或者导入操作中。通常意味着对应tablet的副本出现了异常。
此时,可以先通过 show backends 命令检查BE节点是否有宕机,如 isAlive 字段为false,或者 LastStartTime 是最近的某个时间(表示最近重启过)。如果BE有宕机,则需要去BE对应的节点,查看be.out日志。如果BE是因为异常原因宕机,通常be.out中会打印异常堆栈,帮助排查问题。如果be.out中没有错误堆栈。则可以通过linux命令dmesg -T 检查是否是因为OOM导致进程被系统kill掉。
如果没有BE节点宕机,则需要通过show tablet 110309738 语句,然后执行结果中的 show proc 语句,查看tablet各个副本的情况,进一步排查。
Q:disk xxxxx on backend xxx exceed limit usage
A:
通常出现在导入、Alter等操作中。这个错误意味着对应BE的对应磁盘的使用量超过了阈值(默认95%)此时可以先通过 show backends 命令,其中MaxDiskUsedPct展示的是对应BE上,使用率最高的那块磁盘的使用率,如果超过95%,则会报这个错误。
此时需要前往对应BE节点,查看数据目录下的使用量情况。其中trash目录和snapshot目录可以手动清理以释放空间。如果是data目录占用较大,则需要考虑删除部分数据以释放空间了。具体可以参阅【磁盘空间管理】:http://doris.incubator.apache.org/master/zh-CN/administrator-guide/operation/disk-capacity.html
-- END --
【往期回顾】
【Doris Weekly & FAQ】2021.07.05~2021.07.18
【Doris Weekly & FAQ】2021.06.21~2021.07.04
【Doris Weekly】2021.06.07~2021.06.20
【精彩文章】
活动回顾| Apache Doris 的过去、现在与未来 活动回顾| 基于 Iceberg 拓展 Doris 数据湖能力的实践
社区人物志|王博:每一位你,都是前进道路上的一团星光。
社区人物志|张家锋:一个人可能走得更快,但一群人会走得更远
欢迎扫码关注:
Apache Doris(incubating)官方公众号
相关链接:
Apache Doris官方网站:
http://doris.incubator.apache.org
Apache Doris Github:
https://github.com/apache/incubator-doris
Apache Doris 开发者邮件组:
dev@doris.apache.org
本文分享自微信公众号 - ApacheDoris(gh_80d448709a68)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。
Doris Weekly FAQ】2021.07.19~2021.08.01相关推荐
- 【Doris Weekly FAQ】2021.07.05~2021.07.18
观众朋友们: 晚上好! 欢迎收看[ Doris 近日要闻]~本次为您带来的是 2021年07月15日 - 2021年07月18日 的双周总结. Doris 社区周报每期会包含 FAQ 环节.我们会在社 ...
- 【每日早报】2019/07/19
今日看点 ✦ 陆金所回应停止网贷业务:配合监管"三降"要求,存量产品与客户权益不受影响 ✦ 贝壳找房:<贝壳找房专项股权基金>非官方文件,目前无明确上市时间和地点 ✦ ...
- 2021.07.16【普及组】模拟赛C组
2021.07.16[普及组]模拟赛C组 文章目录 2021.07.16[普及组]模拟赛C组 前言 花生采摘 题目 解析 代码 FBI树 题目 解析 代码 火星人 题目 解析 代码 麦森数 题目 解析 ...
- GMOJ - 2021.07.20【普及组】模拟赛C组 - 排座椅(seat)、传球游戏(ball)、立体图(drawing)、间谍派遣、seek
文章目录 luogu博客链接 GMOJ - 2021.07.20[普及组]模拟赛C组 - 排座椅(seat).传球游戏(ball).立体图(drawing).间谍派遣.seek T1 排座椅(seat ...
- 【题解报告】ZJNU综合训练(2021.1.26)
[题解报告]ZJNU综合训练(2021.1.26) B C D F H I J M 综合训练 ZJNU综合训练(2021.1.26) B:DP+搜索 | CF 1057C C:组合数学+dp | CF ...
- 2021.07.16 总结
2021.07.16 总结 今天状态不怎么好,几道那么容易的题就只有140分,毕竟也就打了前两道 T1 花生采摘 题目描述 鲁宾逊先生有一只宠物猴,名叫多多.这天,他们两个正沿着乡间小路散步,突然 ...
- Neovim开发环境搭建(2021.07.01)
Neovim开发环境搭建(2021.07.01) 一.搭建环境 Ubuntu 21.04 Neovim 0.4.4 二.Neovim安装 # 下载 neovim,如遇网络问题可以采用 https:// ...
- 【AI视野·今日Robot 机器人论文速览 第二十期】Thu, 8 Jul 2021
AI视野·今日CS.Robotics 机器人学论文速览 Thu, 8 Jul 2021 Totally 19 papers
- 哔哩哔哩“2021.07.13 我们是这样崩的”报告的学习-1
哔哩哔哩"2021.07.13 我们是这样崩的"报告的学习-1 这份报告是我学计算机两年来第一次真实看到大厂的员工到底在干什么.出现了很多专有名词,以及当前最先进的互联网企业的应用 ...
最新文章
- Ubuntu16.04+ROS+ORB-SLAM2测试(转载)
- 解决ubuntu中vi不能正常使用方向键与退格键的问题
- ubuntu下交叉编译环境构建
- NIFI的ERROR报错信息如何清空
- angular1.2.27_Angular 8 + Spring Boot 2.2:立即构建一个CRUD应用程序!
- 包包各部位名称图解_品尝烤肉必备!日本和牛各部位名称中日翻译对照 点餐更轻松...
- 【求助】windows server 2003 64位下面网卡IP总是默认为动态分派IP
- 不一样 使用别名 数据字段和bean_Mybatis-resultMap标签详解
- python---(4) win10 环境下访问MYSQL 数据库
- python pygame鼠标点击_pygame系列_mouse鼠标事件
- 16. XML DOM
- 异步IO实现和应用场景
- 图像scale与相机参数_Blender 的相机参数解析
- win7共享中心服务器运行失败,Win7系统网络与共享中心无法打开怎样解决?
- css动画无限循环转圈,css实现无限循环
- 流媒体服务器原理和架构解析
- 技术管理那些事(二)“人剑合一”的团队
- java水平翻转矩阵_Java实现 LeetCode 519 随机翻转矩阵
- 《程序员健康指南》阅读笔记
- 印度的“健康码”:Aarogya Setu为何会失败?