DataWorks功能实践速览
简介:DataWorks功能实践系列,帮助您解析业务实现过程中的痛点,提高业务功能使用效率!
往期回顾:DataWorks 功能实践速览01期——数据同步解决方案
功能推荐:独享数据集成资源组
如上期数据同步解决方案介绍,数据集成的批数据同步任务运行时,需要占用一定的计算资源,这些资源即资源组,通常先从数据来源所在的机器抽取数据至资源组所在的机器,再推送至目标数据源所在的机器。
而进行数据同步时,可以根据实际情况规划使用哪种数据集成资源组,资源组规划的关键点包括连通性和性能两方面。
以下就从数据集成资源组的类型与性能、网络连通性两方面,为您介绍数据集成资源组的详情:
Part1:数据集成资源组的类型与性能对比
DataWorks数据集成支持多种不同资源组:
- 独享数据集成资源组:
购买后可独占使用的资源组。在任务高并发执行且无法错峰运行,需要独享的资源组来保障数据快速、稳定地传输时,您可以选择独享资源组。 - 自定义数据集成资源组:
如果您有富余的服务器资源,也可将此部分资源作为DataWorks中任务运行的资源组使用,DataWorks支持自定义资源组。
以上两种数据集成资源组在应用上的能力对比如下表所示:
类别 |
独享资源组 |
自定义资源组 |
机器资源归属 |
由DataWorks维护,是自己的租户独享使用的计算资源。 |
由您自己维护,是属于您的IDC机器。 |
网络 |
支持VPC、公网和任意网络下的阿里云产品。 |
支持VPC、公网和任意网络下的阿里云产品。 |
收费方式 |
根据机器的规格,包年包月计费。 |
DataWorks版本按月使用收费。 |
支持的数据源 |
全部数据源 |
全部数据源 |
安全性 |
高 |
根据您自身机器所处的环境决定 |
任务执行的效率 指任务是否能够分到足够的计算资源,能否以最高性能运行。 |
高 |
根据您自身机器所处的环境决定 |
可靠性 指任务是否能够按时启动。执行任务时,网络资源是否被其它租户占用,导致任务不能按时产出结果。 |
高 |
根据您自身机器所处的环境决定 |
适用场景 |
大量、重要的生产级别的任务。 |
使用自定义资源组的场景如下:
|
推荐指数 |
★★★★★ |
★ |
非常建议您使用独享数据集成资源组来运行数据集成任务。独享数据集成资源组的购买后,您需要完成网络配置和工作空间绑定,后续即可选择与数据源的网络连通方案进行连通配置了。在此之前,独享数据集成资源组的购买与基础配置的操作详情请参见新增和使用独享数据集成资源组。
Part2:数据集成资源组的网络连通方案
进行数据同步时,需要根据数据库所在网络环境,通过对应的网络解决方案,实现对应类型资源组与数据库的网络连通。连通方案概览如下。
以下为您重点介绍独享数据集成资源组的网络连通方案详情,其他资源组类型的网络连通方案可进入帮助中心查看。
场景1:数据源具备访问公网的能力
如果数据源具备公网访问能力的话,那么数据源与资源组之间可以直接通过公网互访。
场景2:数据源在VPC网络中,且VPC和DataWorks在同一个地域
如果数据源在VPC网络中,且VPC和DataWorks在同一个地域,那可以将独享数据集成资源组绑定数据源所在VPC。同时需要关注,资源组与DataWorks是否在同一个可用区中,如果不在同一个可用区中,还需要手动添加一下路由,保障资源组与数据源之间网络是连通的。添加路由的操作详情可参见添加路由。
场景3:数据源在VPC网络中,且VPC和DataWorks在不同的地域
如果数据源在VPC网络中,且VPC和DataWorks在不同的地域中,那您需要为独享数据集成资源组绑定一个VPC,然后通过高速通道、VPN或其他网络连通产品连通资源组绑定的VPC与数据源所在的VPC。
常见的网络连通产品包括:
- 云企业网使用场景示例,请参见云企业网。
- 高速通道使用场景示例,请参见高速通道。
- VPN网关使用场景示例,请参见VPN网关。
此外,您依旧需要手动添加一下路由,保障网络连通性。添加路由的操作详情可参见添加路由。
场景4:数据源在IDC内
如果数据源在IDC内,与场景3:数据源在VPC中且与DataWorks不同地域的场景类似,您需要为独享数据集成资源组绑定一个VPC,然后通过高速通道、VPN或其他网络连通产品连通资源组绑定的VPC与数据源所在的VPC。
常见的网络连通产品包括:
- 云企业网使用场景示例,请参见云企业网。
- 高速通道使用场景示例,请参见高速通道。
- VPN网关使用场景示例,请参见VPN网关。
此外,您依旧需要手动添加一下路由,保障网络连通性。添加路由的操作详情可参见添加路由。
场景5:数据源在经典网络
如果数据源在经典网络内,则此场景下,不支持数据源与DataWorks资源组网络连通,建议您将数据源迁移至VPC网络中。
PS:阿里云经典网络已不推荐使用,建议您迁移数据源至VPC。
Part3:注意事项——白名单的影响
保障资源组与数据源之间网络连通后,您还需保障资源组与数据源之间不会因为白名单的限制而无法进行数据访问,例如,部分数据源设置白名单后会不允许白名单外的IP访问,您需要将资源组的IP添加至数据源的白名单中。
使用不同类型的数据集成资源组时,需要添加到数据源白名单中的IP地址不一致,详情可进入帮助中心查看,以下为您示例,使用独享数据集成资源组时,需要获取并添加到数据源白名单中的IP地址。
- 交换机网段:
- 独享资源组的EIP地址:
场景实践
了解了独享数据集成资源组后,您可以参考以下文档进行实操实践。
- 新增和使用独享数据集成资源组
- 同步数据至MaxCompute
原文链接:https://developer.aliyun.com/article/787172?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks功能实践速览相关推荐
- DataWorks功能实践速览 05——循环与遍历
简介:DataWorks功能实践系列,帮助您解析业务实现过程中的痛点,提高业务功能使用效率!通过往期的介绍,您已经了解到在DataWorks上进行任务运行的最关键的几个知识点,其中上期参数透传中为您介 ...
- DataWorks功能实践速览 — 参数透传
简介: DataWorks功能实践系列,帮助您解析业务实现过程中的痛点,提高业务功能使用效率! 往期回顾: DataWorks 功能实践速览01期--数据同步解决方案:为您介绍不同场景下可选的数据同步 ...
- DataWorks 功能实践速览03期 — 生产开发环境隔离
简介: DataWorks功能实践系列,帮助您解析业务实现过程中的痛点,提高业务功能使用效率! 往期回顾: DataWorks 功能实践速览01期--数据同步解决方案:为您介绍不同场景下可选的数据同步 ...
- DataWorks 功能实践速览
简介: DataWorks功能实践系列,帮助您解析业务实现过程中的痛点,提高业务功能使用效率! 功能推荐:独享数据集成资源组 如上期数据同步解决方案介绍,数据集成的批数据同步任务运行时,需要占用一定的 ...
- DataWorks 功能实践 — 生产开发环境隔离
简介:DataWorks功能实践系列,帮助您解析业务实现过程中的痛点,提高业务功能使用效率! 往期回顾: DataWorks 功能实践速览01期--数据同步解决方案:为您介绍不同场景下可选的数据同步方 ...
- GitHub 热点速览 Vol.23:前后端最佳实践
作者:HelloGitHub-小鱼干 摘要:最佳实践,又名 best-practices,是 GitHub 常见的项目名,也是本周 Trending 关键词.25 年 Python 开发经验的 Dav ...
- Win系统速览桌面功能失效 - 解决方案
Win系统速览桌面功能失效 - 解决方案 问题 解决方案 步骤1:确保显卡驱动正常运行 步骤2:检查任务栏设置 步骤3:调整视觉效果 问题 Win10系统支持用户鼠标悬停在任务栏右下角时速览桌面.但可 ...
- 十月 Z 星月度速览 | Hacktoberfest 开源挑战赛、飞书深诺电商场景实践、Paddlepaddle推荐系统部署……...
#October Z星月度速览 · Milvus 社区举办第九届 Arch Meetup,与极狐 GitLab 共同分享开源 AI 企业级解决方案和场景经验 · 欢庆 1024,Zilliz 合伙人. ...
- 九月 Z 星月度速览 | Hacktoberfest 开源挑战赛、飞书深诺电商场景实践、Paddlepaddle推荐系统部署……...
#September Z星月度速览 · Milvus Hacktoberfest 开源挑战赛正式开启,神秘大奖等你来拿! · Paper reading 第三期:基于近邻图的高维向量近似最近邻检索算法 ...
最新文章
- golang中的goredis
- Python基础教程:赋值、深拷贝与浅拷贝(内存地址)
- SQL中的left join与right join
- SAP UI5 sap-ui-core.js的加载逻辑
- 精述IBM的MQTT协议和MQTT-S协议
- 禁止吸烟(字符串替换)
- 力算未来丨一张图看懂华为“鲲鹏+昇腾”双引擎
- 一个通用的Makefile
- 日志对于运维的重要性
- oracle 修改子分区,Oracle子分区(sub partition)操作
- 21SkypeForBusiness2015进阶篇--SFB后端Mirror切换到AllwaysOn--标准版准备篇
- From Calcite to Tampering with Flink SQL
- 华为云Hadoop与Spark集群环境搭建
- pyvoronoi包 Failed to build pyvoronoi Installing collected packages: pyvoronoi Running setup.py
- 时间戳转换年月日天方法
- 详解Windows PE(Windows预安装环境)
- 宝付国际手把手教你如何成为亚马逊卖家
- 用“小花生”-阅读记录app坚持打卡快3年,我带儿子在学前实现中英文阅读量4500本 ...
- 域名如何绑定到服务器ip
- java日期类型_Java 学习笔记 (三) Java 日期类型
热门文章
- 从零开始学习docker(零)简单介绍Dockerfile
- 数据科学家提高效率的 40 个 Python 技巧
- 新工具上线!只需2步助你轻松学爬虫!
- 我是怎么保存公众号历史文章合集到本地的?当然是用python了!
- rand()函数100000随机数_利用随机函数Rand、Randbetween制作抽奖器应用技巧解读
- 哪种修复redis未授权访问漏洞的方法是相对不安全的_关于Linux挖矿、DDOS等应急事件处置方法...
- 任务管理平台_基于notion详谈任务规划的思路(二):搭建任务管理平台
- java final 方法重载_java方法重载和覆写的定义,static和final修饰符的讲解,java面试题...
- redis和mysql实现原理_redis和mysql结合数据一致性方案
- 幸运的背后,总是靠自身的努力在支撑