数据订阅（新版）

更新时间：2020-08-26 15:35:45

编辑我的收藏

本页目录

  • 优惠活动
  • 功能特性
  • 消费组介绍
  • 支持订阅的数据库类型和版本
  • 支持的语言
  • 支持的数据类型和订阅对象
  • 数据订阅通道

数据订阅功能旨在帮助用户获取自建MySQL、RDS MySQL、Oracle的实时增量数据，您可以根据自身业务需求自由消费增量数据，例如缓存更新策略、业务异步解耦、异构数据源数据实时同步及含复杂ETL的数据实时同步等多种业务场景。

原有的数据订阅功能使用成本相对较高，为提升用户体验，降低使用成本，阿里云对数据订阅功能进行升级，可实现数据的多下游重复消费。

优惠活动

DTS优惠活动，最低0折

功能特性

  • 支持多下游消费，支持数据库和数据表的过滤。详情请参见消费组介绍。
  • 支持订阅自建MySQL数据库，为自建数据库用户订阅数据提供更多的便利。
  • 在支持经典网络的基础上，新增了专有网络的支持。用户可以通过专有网络订阅消费数据，以获得更低的网络延迟和更高的安全性。

    说明 您可以在创建数据订阅通道时选择网络类型，详情请参见 创建RDS MySQL数据订阅通道（新版）。

  • 支持Kafka生态，通过使用Kafka Client您可以直接消费数据订阅通道中的数据。

    说明 当前仅支持Kafka 0.10.0.x版本至1.1.x版本，详情请参见 使用Kafka客户端消费订阅数据。

  • 在数据订阅过程中，您可以动态增减订阅对象，详情请参见修改订阅对象。
  • 支持修改需要消费数据对应的时间点。

    说明 您需要通过您的订阅客户端来修改消费时间点。

  • 提供订阅通道状态、下游消费延迟的报警监控功能。您可以根据业务敏感度，自定义消费延迟报警阈值。

消费组介绍

原有的数据订阅功能在进行数据订阅时，只能有一个下游SDK消费数据，其他的SDK作为备份。如果需要对同一个源库的增量数据进行重复消费的话，则需要购买多个数据订阅实例，使用成本较高。

为降低用户使用成本，DTS新增了消费组的功能。当多个下游需要订阅同一个数据库实例时，只需要创建多个消费组即可，多个消费组可以同时对同一个数据库实例进行数据的订阅和消费，大大降低了用户的使用成本。

消费组特性

  • 一个数据订阅实例中可以创建多个消费组，通过创建多个消费组可以实现数据的重复消费。
  • 同一个消费组对每条消息只进行一次消费，消费组内的多个消费者互为备份。
  • 同一个消费组中，同一时刻只能有一个消费者进行数据消费，其他消费者作为容灾节点。

支持订阅的数据库类型和版本

订阅的源数据库（例如MySQL、Oracle）的部署位置可以是有公网IP的自建数据库、无公网IP:Port的数据库（通过数据库网关DG接入）、ECS上的自建数据库或通过专线/VPN网关/智能网关接入的自建数据库。

源数据库 支持订阅的数据类型

自建MySQL

5.1、5.5、5.6、5.7或8.0版本
  • 数据更新
  • 结构更新

RDS MySQL

所有版本

PolarDB MySQL

所有版本

自建Oracle（非RAC架构）

9i、10g、11g或12c版本

支持的语言

DTS支持多种语言的客户端对数据进行消费，具体如下：

  • Java
  • C/C++
  • Python
  • Go（AKA golang）
  • Erlang
  • .NET
  • Ruby
  • Node.js
  • Proxy（HTTP REST、etc）

您可以使用对应语言的Kafka官方客户端进行数据消费，详情请参见Kafka客户端。同时，DTS为您提供了Java语言的Kafka客户端示例，详情请参见使用Kafka客户端消费订阅数据。

警告 如果使用Kafka官方客户端进行数据消费，您需要按照 <消费组的账号>-<消费组ID>的格式设置用户名（例如： dtstest-dtsae******bpv），否则无法正常连接。

支持的数据类型和订阅对象

  • 数据类型

    DTS将源库的增量数据类型分为结构变更DDL（Data Definition Language）和数据变更DML（Data Manipulation Language）。

    • 结构变更DDL

      订阅整个实例所有对象的结构创建、删除及修改，您需要使用订阅客户端过滤所需的数据。

    • 数据变更DML

      订阅已选择对象的增量数据更新，包含数据的INSERT、DELETE和UPDATE操作。

  • 订阅对象

    订阅对象选择的粒度为库、表。

数据订阅通道

数据订阅通道会实时拉取源数据库中的增量数据，并将最近24小时的增量数据保存在数据订阅通道中。您可以使用Kafka Client从订阅通道中订阅增量数据并进行消费。同时，您也可以在DTS控制台对数据订阅通道进行创建、管理及删除等操作。

数据订阅通道在创建及运行过程中的状态信息如下表所示。

通道状态 状态说明 可进行操作
预检中 已经完成数据订阅通道的配置，正在进行预检查。 删除订阅
未启动 已经通过预检查，但是还没有启动订阅。
  • 开始订阅
  • 删除订阅
初始化 正在进行启动初始化，一般需要1分钟左右。 删除订阅
正常 正在拉取数据源的增量数据。
  • 查看示例代码
  • 监控报警
  • 删除订阅
  • 重新配置
异常 拉取数据源的增量数据时出现异常。
  • 查看示例代码
  • 监控报警
  • 删除订阅
  • 重新配置

说明

  • 当数据订阅通道处于异常状态时，该通道将在7天之内被自动恢复。如果需要停止订阅，您可以释放数据订阅通道。
  • 释放数据订阅通道后，该通道中的数据将被释放且无法被找回，请谨慎操作。

上一篇：数据同步

下一篇：数据订阅（旧版）

数据传输服务 DTS ＞ 产品简介 ＞ 功能特性 ＞ 数据订阅（新版）相关推荐

  1. 数据传输服务 DTS ＞ 数据迁移 ＞ 从自建数据库迁移至阿里云 ＞ 源库为MySQL ＞ 从自建MySQL迁移至RDS MySQL

    从自建MySQL迁移至RDS MySQL 更新时间:2020-08-20 10:49:52 编辑我的收藏 本页目录 前提条件 注意事项 费用说明 迁移类型说明 增量数据迁移支持同步的SQL操作 数据库 ...

  2. 什么是数据传输服务DTS

    转载:https://www.alibabacloud.com/help/zh/doc-detail/26592.htm?spm=a2c63.l28256.a3.8.7f4a3d6bc7jiXz 数据 ...

  3. 数据传输服务DTS的应用场景(阿里巴巴)

    数据传输服务DTS的应用场景(阿里巴巴) 数据传输服务DTS(Data Transmission Service)支持数据迁移.数据订阅和数据实时同步功能,帮助您实现多种典型应用场景. 不停机迁移数据 ...

  4. 数据传输服务 DTS ＞ 产品简介 ＞ 功能特性 ＞ 数据订阅（旧版）

    数据订阅(旧版) 更新时间:2020-07-14 11:16:50 编辑我的收藏 本页目录 支持订阅的实例类型 订阅对象 订阅通道 高级特性 实时数据订阅功能旨在帮助用户获取RDS MySQL.DRD ...

  5. 数据传输服务 DTS ＞ 数据订阅 ＞ 数据订阅（新版） ＞ 创建RDS MySQL数据订阅通道（新版）

    创建RDS MySQL数据订阅通道(新版) 更新时间:2020-08-26 15:45:07 编辑我的收藏 本页目录 优惠活动 注意事项 操作步骤 下一步 通过数据订阅功能,您可以实时订阅源库的增量数 ...

  6. 数据传输服务 DTS ＞ 数据迁移 ＞ 同一阿里云账号实例间迁移 ＞ RDS实例间的数据迁移

    RDS实例间的数据迁移 更新时间:2020-04-26 14:24:23 编辑我的收藏 本页目录 前提条件 注意事项 费用说明 迁移类型说明 数据库账号的权限要求 操作步骤 本文介绍如何使用数据传输服 ...

  7. 微软云服务Azure产品简介

    1.移动服务 应用服务 应用服务是一个云平台,用来快速创建能连接到任何地方数据(云中/本地)的Web和移动的强大云应用 Web应用 选用一种语言在 IDE 中进行编码更快速度构建 web 应用和 AP ...

  8. 智能化推送服务MobPush产品简介

    MobPush产品概述 MobPush是袤博科技MobTech推出的一款免费的推送服务工具,客户端SDK支持iOS和Android两大平台,集成方便简单快捷,且提供完整的可视化数据和强大的管理后台 主 ...

  9. 数据传输服务 DTS ＞ 数据迁移 ＞ 支持的数据库和迁移类型

    支持的数据库和迁移类型 更新时间:2020-09-27 09:16:28 编辑我的收藏 本页目录 优惠活动 迁移类型说明 支持的数据库及迁移类型 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移, ...

最新文章

  1. C#全局键盘监听（Hook）的使用（转载）
  2. 数据结构 - 字符串 - 最长公共子序列 + 最长公共子字符串 - 动态规划
  3. 关于负载均衡的一切：总结与思考
  4. python3.4学习笔记(八) Python第三方库安装与使用，包管理工具解惑
  5. Uva 247 - Calling Circles（传递闭包 / 强连通分量）
  6. vs 中程序被锁定的问题
  7. php漫画源码,小涴熊漫画CMS：开源的PHP漫画源码
  8. 二级c语言题库手机软件,C语言二级考试题库手机下载-C语言二级考试题库APK下载 - Iefans...
  9. java播放mp3/ogg/ape/flac音乐
  10. 基于hadoop的商品推荐引擎
  11. k8s pod删不掉
  12. FATFS FIL 结构
  13. 阿里云数据及api服务
  14. win10查看计算机系统版本,Win10版本怎么看？Win10系统版本查看方法
  15. matlab 指数分布检验,如何使用Matlab检验数据服从什么分布
  16. 你跳槽怎样考虑可持续性发展
  17. Linux | 将文件移动到指定文件夹中
  18. LikeLib管理委员会团队架构及职责分工
  19. CISSP认证的考核范围包括10个方向
  20. PPT模板 | 蓝色3D风工作汇报PPT模板

热门文章

  1. C++ 迭代器失效问题
  2. 计算机管理员初级试题及答案,计算机管理员测试题及答案.doc
  3. 力扣538.把二叉搜索树转换为累加树（JavaScript）
  4. linux从表中提取信息,如何用Linux命令提取表格文本中的某列
  5. css无效 https_【CSS非全解02】CSS基础-文档流
  6. python写安卓app控制蓝牙_Python脚本利用adb进行手机控制的方法
  7. 视觉SLAM——稀疏光流法
  8. 解析器 java_Java高性能解析器实现思路及方法学习
  9. tcp实时传输kafka数据_关于Kafka producer管理TCP连接的讨论
  10. hp chromebook11 linux,又有18款Chromebook即将支持Linux应用