基于Flink CDC实现实时数据采集-接口设计

参数说明
接口设计
- Source端接口
- 转换函数接口
- Sink 端接口
动态类型

由于最近公司有需求，需要将oracle数据实时同步到hdfs和olap数据库，当时想到的是flink cdc来实现，但是每一个同步任务都需要写java程序去实现，所有想写一个工具去做，通过参数的方式来灵活配置采集的数据源。

参数说明

{"flinkConf":{"sourceType": "oracle",

基于Flink CDC实现实时数据采集(一）-接口设计相关推荐

Flink原理解析50篇（四）-基于 Flink CDC 打通数据实时入湖
在构建实时数仓的过程中,如何快速.正确的同步业务数据是最先面临的问题,本文主要讨论一下如何使用实时处理引擎Flink和数据湖Apache Iceberg两种技术,来解决业务数据实时入湖相关的问题. 0 ...
基于Flink CDC打通数据实时入湖
作者 | 数据社责编 | 欧阳姝黎在构建实时数仓的过程中,如何快速.正确的同步业务数据是最先面临的问题,本文主要讨论一下如何使用实时处理引擎 Flink 和数据湖 Apache Ice ...
clickhouse 航空数据_趣头条基于Flink+ClickHouse的实时数据分析平台
原标题:趣头条基于Flink+ClickHouse的实时数据分析平台分享嘉宾:王金海趣头条编辑整理:王彦内容来源:Flink Forward Asia 出品平台:DataFunTalk 导读: ...
37 手游基于 Flink CDC + Hudi 湖仓一体方案实践
简介: 介绍了 37 手游为何选择 Flink 作为计算引擎,并如何基于 Flink CDC + Hudi 构建新的湖仓一体方案. 本文作者是 37 手游大数据开发徐润柏,介绍了 37 手游为何选择 ...
4.3.2 Flink-流处理框架-Flink CDC数据实时数据同步-何为Flink CDC？
目录 1.写在前面 2.Flink CDC出现的动机 3.基于传统的CDC的ETL分析 4.基于Flink CDC的ETL分析 5.支持的版本和连接器 1.写在前面 CDC是一种可以捕获数据库变更的技 ...
Flink CDC入门实践--基于 Flink CDC 构建 MySQL 和 Postgres 的 Streaming ETL
文章目录前言 1.环境准备 2.准备数据 2.1 MySQL 2.2 postgres 3.启动flink和flink sql client 3.1启动flink 3.2启动flink SQL cl ...
基于Flink+ClickHouse构建实时游戏数据分析最佳实践
简介:本实践介绍如何快速收集海量用户行为数据,实现秒级响应的实时用户行为分析,并通过实时流计算.云数据库ClickHouse等技术进行深入挖掘和分析,得到用户特征和画像,实现个性化系统推荐服务. 直达 ...
基于php的地铁查询系统,基于php的苏州实时公交/地铁接口调用代码实例
代码描述:基于php的苏州实时公交/地铁接口调用代码实例关联数据:苏州实时公交接口地址:http://www.juhe.cn/docs/api/id/31 1.[代码][PHP]代码 // +-- ...
基于高速51单片机的模拟USB接口设计
基于高速51单片机的模拟USB接口设计作者:廖颂文摘要:参照AVRUSB技术给出了51单片机通过模拟USB通信的实现方法.用VC编写了上位机软件,通过libusb驱动实现了PC与ST12LE560 ...
实时数仓：基于 Flink CDC 实现 Oracle 数据实时更新到 Kudu
作者:于乐,腾讯 CSIG 工程师解决方案描述概述 Flink CDC 于 2021 年 11 月 15 日发布了最新版本 2.1,该版本通过引入内置 Debezium 组件,增加了对 Oracl ...

基于Flink CDC实现实时数据采集(一）-接口设计

基于Flink CDC实现实时数据采集-接口设计

参数说明

基于Flink CDC实现实时数据采集(一）-接口设计相关推荐

最新文章

热门文章