DataWorks 功能实践速览
简介: DataWorks功能实践系列,帮助您解析业务实现过程中的痛点,提高业务功能使用效率!
功能推荐:独享数据集成资源组
如上期数据同步解决方案介绍,数据集成的批数据同步任务运行时,需要占用一定的计算资源,这些资源即资源组,通常先从数据来源所在的机器抽取数据至资源组所在的机器,再推送至目标数据源所在的机器。
而进行数据同步时,可以根据实际情况规划使用哪种数据集成资源组,资源组规划的关键点包括连通性和性能两方面。
以下就从数据集成资源组的类型与性能、网络连通性两方面,为您介绍数据集成资源组的详情:
Part1:数据集成资源组的类型与性能对比
DataWorks数据集成支持多种不同资源组:
- 独享数据集成资源组:
购买后可独占使用的资源组。在任务高并发执行且无法错峰运行,需要独享的资源组来保障数据快速、稳定地传输时,您可以选择独享资源组。 - 自定义数据集成资源组:
如果您有富余的服务器资源,也可将此部分资源作为DataWorks中任务运行的资源组使用,DataWorks支持自定义资源组。
以上两种数据集成资源组在应用上的能力对比如下表所示:
类别 |
独享资源组 |
自定义资源组 |
机器资源归属 |
由DataWorks维护,是自己的租户独享使用的计算资源。 |
由您自己维护,是属于您的IDC机器。 |
网络 |
支持VPC、公网和任意网络下的阿里云产品。 |
支持VPC、公网和任意网络下的阿里云产品。 |
收费方式 |
根据机器的规格,包年包月计费。 |
DataWorks版本按月使用收费。 |
支持的数据源 |
全部数据源 |
全部数据源 |
安全性 |
高 |
根据您自身机器所处的环境决定 |
任务执行的效率 指任务是否能够分到足够的计算资源,能否以最高性能运行。 |
高 |
根据您自身机器所处的环境决定 |
可靠性 指任务是否能够按时启动。执行任务时,网络资源是否被其它租户占用,导致任务不能按时产出结果。 |
高 |
根据您自身机器所处的环境决定 |
适用场景 |
大量、重要的生产级别的任务。 |
使用自定义资源组的场景如下:
|
推荐指数 |
★★★★★ |
★ |
非常建议您使用独享数据集成资源组来运行数据集成任务。独享数据集成资源组的购买后,您需要完成网络配置和工作空间绑定,后续即可选择与数据源的网络连通方案进行连通配置了。在此之前,独享数据集成资源组的购买与基础配置的操作详情请参见新增和使用独享数据集成资源组。
Part2:数据集成资源组的网络连通方案
进行数据同步时,需要根据数据库所在网络环境,通过对应的网络解决方案,实现对应类型资源组与数据库的网络连通。连通方案概览如下。
以下为您重点介绍独享数据集成资源组的网络连通方案详情,其他资源组类型的网络连通方案可进入帮助中心查看。
场景1:数据源具备访问公网的能力
如果数据源具备公网访问能力的话,那么数据源与资源组之间可以直接通过公网互访。
场景2:数据源在VPC网络中,且VPC和DataWorks在同一个地域
如果数据源在VPC网络中,且VPC和DataWorks在同一个地域,那可以将独享数据集成资源组绑定数据源所在VPC。同时需要关注,资源组与DataWorks是否在同一个可用区中,如果不在同一个可用区中,还需要手动添加一下路由,保障资源组与数据源之间网络是连通的。添加路由的操作详情可参见添加路由。
场景3:数据源在VPC网络中,且VPC和DataWorks在不同的地域
如果数据源在VPC网络中,且VPC和DataWorks在不同的地域中,那您需要为独享数据集成资源组绑定一个VPC,然后通过高速通道、VPN或其他网络连通产品连通资源组绑定的VPC与数据源所在的VPC。
常见的网络连通产品包括:
- 云企业网使用场景示例,请参见云企业网。
- 高速通道使用场景示例,请参见高速通道。
- VPN网关使用场景示例,请参见VPN网关。
此外,您依旧需要手动添加一下路由,保障网络连通性。添加路由的操作详情可参见添加路由。
场景4:数据源在IDC内
如果数据源在IDC内,与场景3:数据源在VPC中且与DataWorks不同地域的场景类似,您需要为独享数据集成资源组绑定一个VPC,然后通过高速通道、VPN或其他网络连通产品连通资源组绑定的VPC与数据源所在的VPC。
常见的网络连通产品包括:
- 云企业网使用场景示例,请参见云企业网。
- 高速通道使用场景示例,请参见高速通道。
- VPN网关使用场景示例,请参见VPN网关。
此外,您依旧需要手动添加一下路由,保障网络连通性。添加路由的操作详情可参见添加路由。
场景5:数据源在经典网络
如果数据源在经典网络内,则此场景下,不支持数据源与DataWorks资源组网络连通,建议您将数据源迁移至VPC网络中。
PS:阿里云经典网络已不推荐使用,建议您迁移数据源至VPC。
Part3:注意事项——白名单的影响
保障资源组与数据源之间网络连通后,您还需保障资源组与数据源之间不会因为白名单的限制而无法进行数据访问,例如,部分数据源设置白名单后会不允许白名单外的IP访问,您需要将资源组的IP添加至数据源的白名单中。
使用不同类型的数据集成资源组时,需要添加到数据源白名单中的IP地址不一致,详情可进入帮助中心查看,以下为您示例,使用独享数据集成资源组时,需要获取并添加到数据源白名单中的IP地址。
- 交换机网段:
- 独享资源组的EIP地址:
原文链接
本文为阿里云原创内容,未经允许不得转载。
DataWorks 功能实践速览相关推荐
- DataWorks功能实践速览 05——循环与遍历
简介:DataWorks功能实践系列,帮助您解析业务实现过程中的痛点,提高业务功能使用效率!通过往期的介绍,您已经了解到在DataWorks上进行任务运行的最关键的几个知识点,其中上期参数透传中为您介 ...
- DataWorks功能实践速览 — 参数透传
简介: DataWorks功能实践系列,帮助您解析业务实现过程中的痛点,提高业务功能使用效率! 往期回顾: DataWorks 功能实践速览01期--数据同步解决方案:为您介绍不同场景下可选的数据同步 ...
- DataWorks功能实践速览
简介:DataWorks功能实践系列,帮助您解析业务实现过程中的痛点,提高业务功能使用效率! 往期回顾:DataWorks 功能实践速览01期--数据同步解决方案 功能推荐:独享数据集成资源组 如上期 ...
- DataWorks 功能实践速览03期 — 生产开发环境隔离
简介: DataWorks功能实践系列,帮助您解析业务实现过程中的痛点,提高业务功能使用效率! 往期回顾: DataWorks 功能实践速览01期--数据同步解决方案:为您介绍不同场景下可选的数据同步 ...
- DataWorks 功能实践 — 生产开发环境隔离
简介:DataWorks功能实践系列,帮助您解析业务实现过程中的痛点,提高业务功能使用效率! 往期回顾: DataWorks 功能实践速览01期--数据同步解决方案:为您介绍不同场景下可选的数据同步方 ...
- GitHub 热点速览 Vol.23:前后端最佳实践
作者:HelloGitHub-小鱼干 摘要:最佳实践,又名 best-practices,是 GitHub 常见的项目名,也是本周 Trending 关键词.25 年 Python 开发经验的 Dav ...
- Win系统速览桌面功能失效 - 解决方案
Win系统速览桌面功能失效 - 解决方案 问题 解决方案 步骤1:确保显卡驱动正常运行 步骤2:检查任务栏设置 步骤3:调整视觉效果 问题 Win10系统支持用户鼠标悬停在任务栏右下角时速览桌面.但可 ...
- 十月 Z 星月度速览 | Hacktoberfest 开源挑战赛、飞书深诺电商场景实践、Paddlepaddle推荐系统部署……...
#October Z星月度速览 · Milvus 社区举办第九届 Arch Meetup,与极狐 GitLab 共同分享开源 AI 企业级解决方案和场景经验 · 欢庆 1024,Zilliz 合伙人. ...
- 九月 Z 星月度速览 | Hacktoberfest 开源挑战赛、飞书深诺电商场景实践、Paddlepaddle推荐系统部署……...
#September Z星月度速览 · Milvus Hacktoberfest 开源挑战赛正式开启,神秘大奖等你来拿! · Paper reading 第三期:基于近邻图的高维向量近似最近邻检索算法 ...
最新文章
- 互联网协议 — IPSec 安全隧道协议
- 程序是什么--过滤器和状态机
- 神策数据林美天于大数据与人工智能分享沙龙分享
- 简单三个数比较大小 “?!”的用法
- highroller赌城java下载,非常有用的链接
- jar包是什么意思_面试难度五颗星:JVM有Full GC,为什么还会 OutOfMemoryError?
- 关于 SENDKEYS 的代码
- python-函数的返回值
- 数据卡片_手把手教你构建企业实时数据大屏
- Linux每个用户单独配置ssh,大神全面解读如何限制SSH用户访问Linux中指定的目录...
- 我的第二个开源库SuperTextView——中文文档
- 知识图谱表示学习-TransE算法
- cmd下重启iis命令
- 中仪股份管道机器人_中仪股份中仪股份cctv检测管道机器人X5-HSX5-HS
- 计算机网络——域名系统
- 动态规划算法解Travelling Salesman Problem(TSP)问题
- 古墓丽影10linux,《古墓丽影:崛起》推出Linux系统版:Ubuntu 17.10可玩
- Java中File文件类之文件过滤器
- Spring iBatis Sqlmap 以及 parameterClass 和 parameterMap 的使用方法
- 黑鹰坠落之战队之刃 全攻略
热门文章
- python出现的次数最多的元素_【Python 秘籍】序列中出现次数最多的元素
- c语言文件怎么在手机上打开,各位前辈这两个程序怎么在手机上运行
- trace Linux and实例,traceroute在linux中的使用方法
- zbar扫描无法近距离扫码_生意好时最怕收银出故障,这几个扫码枪的常见问题你一定要知道...
- vm虚拟机安装包_一次Miniconda虚拟机安装的神奇踩坑记录
- java多线程教程_java 基础教程之多线程详解及简单实例
- c位边上还有什么位_c位是什么意思?C位说法的由来是什么?c位旁边二个位置叫什么?...
- 【LeetCode笔记】剑指 Offer 47. 礼物的最大价值(Java、动态规划)
- 计算机几何学论坛,现代几何学与计算机科学-中国计算机学会.pdf
- leetcode 4 --- 寻找两个有序数组的中位数