【Airflow踩坑】XCom大数据传递反序列化失败

基本信息

Airflow版本：2.2.3

部署方式：K8s + helm

后端数据库：Mysql5.7

异常描述

注意：Airflow官方不推荐通过XCom方式在任务间传递较大数据

我在做一个ETL任务时，发现上流任务的返回值（5W条数据），无法在下流任务中解析出来。

默认使用的是以Json数据作为任务之间的值传递。

查看日志，抛出异常如下：

json.decoder.JSONDecodeError: Unterminated string starting at: line 1 column 65528 (char 65527)

json反序列失败了。

如果是采用pickle 二进制作为任务之间的值传递，则会出现以下报错：

airflow pickle data was truncated

意思是，这个数据被截断了，即不完整。

解决方案

看到truncated关键字，数据被截断。

这让我判断出可能和Mysql字段定义的长度有关系。

任务之间的值传递依赖Xcom模块，它在后端数据库的表明同名，查看value字段的类型为blob

blob最大的存储为65kb，我们只需要修改这个字段类型为mediumblob 或者 longblob。

ALTER TABLE `airflow`.`xcom`
MODIFY COLUMN `value` mediumblob NULL AFTER `key`;

参考文章

MySQL中的BLOB类型

【Airflow踩坑】XCom大数据传递反序列化失败相关推荐

004-protostuff踩坑-java bean新增字段反序列化失败问题
protostuff 避免更改 java 对象字段 ,比如新增一个,导致 redis 等缓存的数据反序列化失败问题?? 问题重现: 我们有个方法通过 attrKey 查询 List ,同时方法中 ...
#Jetson-NX踩坑记--Etcher Flash Failed 烧录失败的解决办法
#Jetson-NX踩坑记--Etcher Flash Failed 烧录失败的解决办法问题解决方案问题根据官方教程使用 Etcher 烧录 Jetson NX 的镜像文件时总是失败,如图 ...
Vue 踩坑笔记: 引入 ElementUI 时打包失败修复记录(ERROR in ./node_modules/element-ui/lib/theme-chalk/index.css)
Vue 踩坑笔记: 引入 ElementUI 时打包失败修复记录(ERROR in ./node_modules/element-ui/lib/theme-chalk/index.css Module ...
大数据岗位面试失败的经历总结，这些面试的坑莫在踩
本人住在有人间天堂之称的城市,6年多开发经验,最近2年主要在做大数据相关的开发,最近考虑换工作,基本也只考虑大数据相关岗位.目前新工作已经找好,但想分享一下最近面试的失败一些经历(成功的那些就不讲了) ...
Antv踩坑—导入画布数据监听画布渲染完成事件
Antv 踩坑记录之监听画布渲染完成事件前言一.导入后台返回的json数据 1.页面判断新增/详情页 2.后台json数据二.监听 1.核心监听 2.console 总结 Antv 踩坑记录之 ...
上汽乘用车-大数据岗位面试(失败经历)
步骤备注 boss直聘简历投递给大数据岗位专业面试微信远程面试面试的是部门最高领导,该领导手下有个博士在带团队. 问了tornado和Django的区别(一个支持异步一个不支持,Djang ...
为什么你的大数据项目会失败？
引言 :近年来大数据.人工智能概念喧嚣尘上,各类大数据应用层出不穷.这些融合了海量数据.高性能计算平台.智能算法.酷炫的数据可视化效果的企业级大数据应用产品成为了企业的新的宠儿."大平台 ...
JPA踩坑笔记(一) - 数据查询的两种方式
本文介绍一下JPA常见的两种查询方式. 注:数据库为Oracle 1.前置准备 1.引入jar包使用JPA,首先引入jar包,一个是JPA,另一个是数据库驱动,我使用的是Oracle数据库. < ...
项目踩坑之Echarts数据视图不更新问题
问题描述 Echarts检测到数据更新不会立即更新相应的视图.也就是说即使series中data 或者value的值发生变化,Echarts也不会发生改变. 解决方法发送请求获取数据以后重新 ...
阿里，B站小伙伴刚刚分享的大数据开发运维学习规划，抓紧收藏
一.大数据运维相关答疑与概述 1.0 Class介绍本课程是专门培养大数据运维与架构方向专业人才的体系化课程.课程所有讲师小伙伴全部是在职的知名企业大数据开发专家,大数据技术专家职位员工,非专门的培 ...