XTransfer技术专家亮相Flink CDC Meetup

背景信息：Flink CDC 是实时数据集成框架的开源代表，具有全增量一体化、无锁读取、并发读取、分布式架构等技术优势，在开源社区中非常受欢迎。

为促进 Flink CDC 技术的交流和发展，社区于 5 月 21 日在线举办“Flink CDC Meetup”，邀请众多大咖分享 Flink CDC 在各场景中的最佳实践、生产经验、技术原理等。

5月21日，XTransfer技术专家孙家宝参与“Flink CDC Meetup”线上直播活动，并作为Flink CDC Maintainer成员分享了《MongoDB CDC Connector的实现原理和使用实践》。

XTransfer专注于B2B跨境金融和风控服务。由于B2B类跨境支付场景涉及更为复杂的业务链路，从询盘到最终成交涉及资金流、信息流、物流等条款，需要在每个节点上做好风险管控，这对 XTransfer 的数据处理安全性和准确性都提出了极高的要求。

在业务初期，XTransfer选择了传统的离线数仓架构，采用全量采集、批量处理、覆盖写入的数据集成方式。随着业务的发展，离线数仓越来越不能满足对数据时效性的要求，开始从离线数仓向实时数仓进行演进。

XTransfer大数据风控基础设施架构

有赖于Flink 强大的实时计算能力和丰富的外部系统接入能力，目前，XTransfer已基于Flink搭建了大数据风控基础设施架构，能够保障在跨境B2B全链路上，数据可以被有效的采集、加工和计算，并满足高安全、低延迟、高精度的需求。

同时作为Flink CDC在跨境金融和风控服务领域的最佳实践，XTransfer在 Flink CDC 基础上通过 MongoDB Change Streams 特性实现了 Flink MongoDB CDC Connector，并已贡献给 Flink CDC 社区。

由XTransfer技术团队贡献的MongoDB CDC Connector支持从 MongoDB 数据库获取全量历史数据和增量变更数据。借助 Flink 的集成能力，用户可以非常方便地将 MongoDB 中的数据实时同步到 Flink 支持的所有下游存储。

从开源中受益，并力所能及地反哺社区，是 XTransfer 技术团队所遵循的原则。目前，XTransfer 技术团队正在关注包括Flink在内多个领域的社区建设，接下来，XTransfer 将持续与社区保持互动，继续为社区发展做出贡献。

招聘链接：https://mp.weixin.qq.com/s/G2lppzUyQGhKyH0DUh8_ug

XTransfer技术专家亮相Flink CDC Meetup相关推荐

Flink CDC MongoDB Connector 的实现原理和使用实践
本文整理自 XTransfer 资深 Java 开发工程师.Flink CDC Maintainer 孙家宝在 Flink CDC Meetup 的演讲.主要内容包括: MongoDB Change ...
Flink CDC + OceanBase 全增量一体化数据集成方案
本文整理自 OceanBase 技术专家王赫(川粉)在 5 月 21 日 Flink CDC Meetup 的演讲.主要内容包括: OceanBase 介绍 Flink CDC OceanBase C ...
Flink CDC + Hudi 海量数据入湖在顺丰的实践
摘要:本文整理自顺丰大数据研发工程师覃立辉在 5月 21 日 Flink CDC Meetup 的演讲.主要内容包括: 顺丰数据集成背景 Flink CDC 实践问题与优化未来规划 Tips:点击「 ...
阿里、京东、去哪儿等大厂技术专家齐聚北京，Flink China Meetup再度归来！
某入行不到半年的 Java 程序员问:程序员,为什么要了解/学习新技术? 1.危机感.你不知道什么时候你所掌握的技术就会被淘汰了,可能 5 年.可能 2 年-- 2.提高效率.新技术的出现往往是为了解 ...
Flink CDC 2.0 正式发布，详解核心改进
简介:Flink CDC 2.0.0 版本于 8 月 10 日正式发布,点击了解详情- 本文由社区志愿者陈政羽整理,内容来源自阿里巴巴高级开发工程师徐榜江 (雪尽) 7 月 10 日在北京站 Flin ...
Flink CDC 系列 - Flink CDC 如何简化实时数据入湖入仓
摘要:本文整理自伍翀 (云邪).徐榜江 (雪尽) 在 Flink Forward Asia 2021 的分享,该分享以 5 个章节详细介绍如何使用 Flink CDC 来简化实时数据的入湖入仓, 文章 ...
Flink CDC 2.x 让一切变得美好
本文基于阿里巴巴高级开发工程师徐榜江 (雪尽) 7 月 10 日在北京站 Flink Meetup 分享的<详解 Flink-CDC>整理. <详解 Flink-CDC>深入讲 ...
Flink CDC 在京东的探索与实践
摘要:本文整理自京东资深技术专家韩飞,在 Flink Forward Asia 2022 数据集成专场的分享.本篇内容主要分为四个部分: 京东自研 CDC 介绍京东场景的 Flink CDC 优化 ...
Flink原理解析50篇（四）-基于 Flink CDC 打通数据实时入湖
在构建实时数仓的过程中,如何快速.正确的同步业务数据是最先面临的问题,本文主要讨论一下如何使用实时处理引擎Flink和数据湖Apache Iceberg两种技术,来解决业务数据实时入湖相关的问题. 0 ...

XTransfer技术专家亮相Flink CDC Meetup

XTransfer技术专家亮相Flink CDC Meetup相关推荐

最新文章

热门文章