数据导入 - Kafka 结合Doris Routine load 任务导入

2024-05-13 09:44:34

背景

参与项目有关数据采集，采集数据同步到数据库之前是使用sql的形式去进行同步，考虑到全表同步数据时数据量过大导致mybatis批量插入数据内存异常，原始解决方案采取分批次进行导入，但是同步数据速度相对会比较慢。这块已经达到性能的瓶颈相对来说优化的点很少

解决方案

采用消息中间件KAFKA结合Doris Routine load 例行任务进行数据同步，Kafka 是每秒几十万条消息吞吐对于大数据量处理上面性能比较好。而且它能进行部分时间内的数据保留，以及它单分区内能按顺序消费，也便于我们对后续数据同步出现问题做响应的处理。

Kafka 结合Doris Routine load 支持导入的格式csv， json 文本格式，我们这边采用csv 它相比与JSON来说粒度更细，更便于我们在数据同步时针对于出错数据做处理

流程图

批次号的解释：
相当于我有一个瓶子A现在往里面倒水倒满了就停然后换个瓶子B继续倒倒一半停了，我再换个瓶子C倒满再换瓶子D瓶子ABCD分布就对应批次号ABCD

模型：
这是我们导入数据的一种方式，每个业务数据采集对应一个采集模型

针对于导入出现异常的处理

这点主要利用kafka的一个偏移量offset去处理，主要针对两块进行处理，一块是重新导入（是当数据导入时导入数据的格式与数据库表的格式对应不上跳过这部分数据重新导入），第二块是继续导入（当导入数据的长度等大于数据库表字段长度时，保留数据修改数据库表后再次导入数据）。

流程图

这两块的配置具体可以参考doris routine load 中的配置可以实现

数据导入 - Kafka 结合Doris Routine load 任务导入相关推荐

Apache Doris Routine Load数据导入使用方法
Apache Doris 代码仓库地址:apache/incubator-doris 欢迎大家关注加星 1.概要 Routine load 功能为用户提供了一种自动从指定数据源进行数据导入的功能. R ...
Doris Routine Load数据导入实战【每秒导入16w】
Doris Routine Load实战[每秒导入16w] 1. Kafka安装 #1.下载安装包 wget https://dlcdn.apache.org/kafka/3.2.0/kafka_2. ...
doris routine load
https://doris.apache.org/zh-CN/docs/data-operate/import/import-way/routine-load-manual/ json (无嵌套) C ...
Doris Routine Load正则表达实战
Doris Routine Load正则表达实战 1. Kafka安装 #1.下载安装包 wget https://dlcdn.apache.org/kafka/3.2.0/kafka_2.13-3. ...
Doris Routine Load接入Kafka0.8.0实战
Doris Routine Load接入Kafka0.8.0实战想要更全面了解Spark内核和应用实战,可以购买我的新书. <图解Spark 大数据快速分析实战>(王磊) 1. 问题产生 ...
Doris系列之导入Kafka数据操作
Doris系列注:大家觉得博客好的话,别忘了点赞收藏呀,本人每周都会更新关于人工智能和大数据相关的内容,内容多为原创,Python Java Scala SQL 代码,CV NLP 推荐系统等,Sp ...
Doris系列13-数据导入之Routine Load
文章目录一. Routine Load 概述二. Kafka 例行导入 2.1 创建例行导入任务 2.1.1 columns_mapping 2.1.2 where_predicates 2.1. ...
第3.3章：StarRocks数据导入--Routine Load
Routine Load(例行导入)是StarRocks自带的一种可以从Kafka中持续不断的导入数据的方式,我们可以方便的在StarRocks中通过SQL来控制导入任务的暂停.继续及停止. 关于Ro ...
Doris之Routine Load
Routine Load 例行导入(Routine Load)功能为用户提供了一种自动从指定数据源进行数据导入的功能. 本文档主要介绍该功能的实现原理.使用方式以及最佳实践. FE:Frontend, ...

最新文章

热门文章