报错背景

版本

从百度预编译版v0.13.15至v0.14.12.7都有这个问题
doris 表导入至hive，采用doris的export

export参数

70多G的数据表
单分区
150桶
三副本
共3*150个tablet

export任务参数
“timeout” = “36000”
“tablet_num_per_task”=“5”,没填，默认就是5

export任务参数
{“partitions”:["*"],“exec mem limit”:2147483648,“column separator”:"\t",“line delimiter”:"\n",“tablet num”:150,“broker”:“hdfs_broker”,“coord num”:30}

报错内容

凌晨的export任务概率性的cancelled

show export order by createtime desc;

ErrorMsg显示
type:RUN_FAIL; msg:export exporting job fail. query id: 62959258a4a34a77-8022182881c3b943, Failed to get query fragments context. Query may be timeout or be cancelled. host:

日志跟踪

fe-master节点日志

根据JobId搜索日志最底下

process 13%失败

往上翻

fe日志这里，
第一次的62959258a4a34a77-8b613083f3eceabb执行失败然后cancel了，
后面又重新注册62959258a4a34a77-8022182881c3b943,
然后fragment分发给三个be，
但是他直接就exec plan fragment failed了

be节点日志

62959258a4a34a77-8022182881c3b943这个job到be后，
62959258a4a34a77-8022182881c3b944失败了
reason:3是有特殊含义嘛
查阅be代码

分析

概率性失败事件
会不会因为集群load balance当时比较高的原因？
查看Prometheus监控，任务失败时间集群并没有异常
调整了些fe

Doris export任务概率性cancelled相关推荐

ajax用https请求不了_Chrome滚动事件概率性Block Ajax请求
最近发现一件有意思的事情,在Chrome 61 62 64 68版本上(也许不止这些版本),滚动事件会概率性Block住Ajax请求或者其它的异步事件,具体表现为,只要用户使用鼠标滚轮滚动页面,请求就 ...
强化学习应用于组合优化问题_如何将强化学习应用于现实生活中的计划问题
强化学习应用于组合优化问题 by Sterling Osborne, PhD Researcher 作者:斯特林·奥斯本(Sterling Osborne),博士研究员如何将强化学习应用于现实生活中 ...
hsgcc：面试笔记
1.java当中八种基础数据类型 byte(1字节)-128 ~ 127, short(2字节), int(4字节), long(8字节), double(4字节), float(8字节), bool ...
利用Xapian构建自己的搜索引擎：检索
经过前面几篇的介绍,如果再参考一下Omega的话,估计应该可以顺利创建database和往database里添加document了.有了数据,下一步关心的当然是怎样将它们查出来,在一个IR系统(不单止 ...
初具雏形的UL标准侧重于自主车辆的安全性
初具雏形的UL标准侧重于自主车辆的安全性 Nascent UL standard focuses on autonomous vehicle safety 就任何自主汽车(AV)的安全性进行可信的争论 ...
算法：详解布隆过滤器的原理、使用场景和注意事项@知乎.Young Chen
算法:详解布隆过滤器的原理.使用场景和注意事项@知乎.Young Chen 什么是布隆过滤器本质上布隆过滤器是一种数据结构,比较巧妙的概率型数据结构(probabilistic data struc ...
AI 天气预报准确度高于气象台，一张 GPU 1秒预测未来 90 分钟天气
编译 | 禾木木出品 | AI科技大本营(ID:rgznai100) 此次 DeepMind 聚焦天气预报这一重大挑战,与英国气象局合作将 AI 应用于预测降雨. 在天气现象中,雨尤其重要,因为它会 ...
数据挖掘技术在出行体验上的应用！
桔妹导读:每天滴滴都会为上千万人提供出行服务,在这一过程中积累了海量轨迹数据.这些轨迹数据来自于公共服务,本文介绍如何利用这些数据回馈大众,改善出行体验. 1. 背景首先简要介绍一下什么是数据挖掘 ...
Github热榜：2021年33篇最酷AI论文综述！多位华人作者入选
新智元报道编辑:小咸鱼 [新智元导读]GitHub上,有一位小哥放出了「2021年充满惊喜的人工智能论文综述」这个项目.目前,里面总结了33篇今年必看论文,堪称「良心宝藏」.这个项目仍在更新 ...
造成机器学习项目失败的7个原因
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达机器学习是一个伟大的工具,它正在改变我们的世界.在许多伟大的应用中 ...

Doris export任务概率性cancelled