使用AWS MVP方案[Data Transfer Hub]从Global S3同步文件到中国区S3
本文主要描述在AWS Global区部署Data Transfer Hub方案,并创建从global S3同步文件到中国区S3的任务
本次实验架构图
1. 实验准备
1.1 AWS Global账号
需要一个AWS Global的账号,并且有相应的权限,本例是Full Administrator权限
1.2 在AWS Global账号下准备一个S3存储桶
登陆AWS Global账号,选择服务->存储->S3
点击创建
输入存储桶名为garysource后,点击创建
并在存储账号中存入测试文件,如图:
1.3 AWS China账号
需要一个AWS China的账号,需要AKSK并且有相应的权限,本实验是Full Administrator权限
1.4 在AWS China账号下准备一个S3存储桶
登陆AWS China区域的账号,同步骤三,在宁夏区创建存储桶为garydes
1.5 准备一个邮件地址
准备一个可以接受邮件的邮件地址xxxx@xxxx.xx
2. 部署Data Transfer Hub
Data Tranfer Hub参考:Data Transfer Hub | Amazon Web Services Solutions
登陆AWS Global账号,选择服务->管理与监管 ->CloudFormation
点击创建堆栈-> 使用新资源(标准)
按照默认,选择模板已就绪,模板源是Amazon S3 URL,并填入地址:https://aws-gcr-solutions.s3.amazonaws.com/data-transfer-hub/latest/DataTransferHub-cognito.template
输入堆栈名称和邮件地址,点击下一步
在配置堆栈选项页面,直接选择下一步
在审核页面,确认输入信息无误后,选择我确认,AWS CloudFormation可能创建IAM资源,点击提交创建资源
等待大概15分钟,当整体任务显示complete的时候,已经创建完成
在输出标签中,找到PortalUrl对应的值,并复制出来,这就是Data Transfer Hub的访问地址。
3. 创建Secrets Manager
登陆AWS Global账号,选择服务->安全性、身份与合规性 ->Secrets Manager
点击存储新的秘钥
在选择密钥类型页面,选择其他类型的密钥,在键值对输入以下内容:
access_key_id 的值为AK
secret_access_key 的值为SK
region_name 的值为region,本例为cn-northwest-1,即目的存储桶的region.
在配置密钥页面,输入密钥名称为:prod/gary/key,点击下一步
在配置转动 - 可选页面点击下一步
在审核页面,点击存储
4. 创建同步任务
补充:如果Data Transfer Hub所在账户端使用KMS,确保EC2 profile加入KMS的使用者。
在步骤2的输出中,拷贝PortalUrl, 在浏览器中打开,输入1.5中预留的邮箱地址,并在邮箱中搜索由no-reply@verificationemail.com发来的邮件的密码
更新密码
点击skip
点击创建新任务
在选择引擎类型页面,选择Amazon S3,点击下一步
在填写任务信息页面,输入相应的信息:
数据源设置
数据源类型选择:Amazon S3
数据桶名称:garysource
传输类型:Objects with a specific prefix
数据桶对象前缀:exports/
源数据桶再当前账户么:Yes
源区域名称:Tokyo (ap-northeast-1)
目标桶设置
数据桶名称:garydes
凭证:prod/gary/key #依据步骤3中的secrets key
目标区域名称:Ningxia (cn-northwest-1)
引擎设置
任务调度设置:One Time Transfer,也可以根据情况选择Fixed Rate (每x天,每x小时,每x分钟等) 或者 Cron Expression (cron表达式)
通知邮箱:可以接收邮件的邮箱地址
在任务预览页面确认信息,如果无误,点击创建任务
5. 验证同步任务
等待一段时间以后,查看garydes存储桶,可以看到相应的文件:
使用AWS MVP方案[Data Transfer Hub]从Global S3同步文件到中国区S3相关推荐
- WCF Data transfer buffered VS streamed
WCF Data Transfer buffered VS streamed 在Data Transfer中,我们会经常听到开发提到buffer mode和stream mode.对于不了解Data ...
- 5G NR RLC:Data Transfer ARQ
其他相关内容 RLC PDU and Parameters RLC架构和RLC entity 一 RLC entity handling RLC entity有建立.重建和释放的过程(establis ...
- aws es方案_AWS Elasticsearch后模式
aws es方案 碰巧我们在SaaS版本的LogSentinel上遇到了生产问题–我们的Elasticsearch停止了对新数据编制索引. 由于Elasticsearch只是辅助存储,因此没有数据丢失 ...
- 合理使用DTO(Data Transfer Object)
文章目录 1. DTO简介 2. 到底什么是DTO? 3. 将DTO用作POJO 4. Java 中使用DTO的例子 5. 反例: 滥用DTO 6. 小结 相关链接 DTO, 全称为 Data Tra ...
- AS91创建历史资产卡片报错:消息号 FAA_MD036 segment 00001: Status ‘In Preparation‘; no data transfer possible
文章目录 一.业务场景-AS91 二.问题分析和解决-FAA_CMP_LDT 一.业务场景-AS91 T-CODE: AS91 公司代码:2A00 参看详细信息 消息号 FAA_MD036 CoCd ...
- 天宝Trimble Data Transfer安装并传输数据
天宝Trimble Data Transfer安装并传输数据 软件下载 问题描述 解决办法 软件下载 (若读者没有CSDN账号或者不方便下载,可以移步至本人同名博客园免费下载相关软件:https:// ...
- Java DTO(data transfer object)的理解,为什么要用DTO
DTO即数据传输对象. 现状 对于分布式系统,需要在不同系统之间传递与转换域对象.因为我们不希望外部公开内部域对象,也不允许外部域对象渗入系统.传统上,数据对象之间的映射通过手工编码(getter/s ...
- 【Root踩坑记录】nexus谷歌亲儿子刷机体验,解决data transfer failure
nexus5安装 data transfer failure (too many links) 报错解决记录(第4步) 1.驱动很关键,不仅仅是adb连接上就可以的 https://androidmt ...
- Node开发文件上传系统及向七牛云存储和亚马逊AWS S3的文件上传
背景起,有奏乐: 有伟人曰:学习技能的最好途径莫过于理论与实践相结合. 初学Node这货时,每每读教程必会Fall asleep. 当真要开发系统时,顿觉精神百倍,即便踩坑无数也不失斗志. 因为同团队 ...
最新文章
- $cfg_dbtype = mysql_多库操作2:终于实现多个数据库操作
- Build boost 1.66.0 with c++11
- ubuntu下使用filezilla上传文件权限问题(open for write: permission denied)
- python序列化详细教程
- pycharm 如何搜索?Ctrl+N 搜索py文件 Ctrl+shift+N 搜索所有类型的文件 ctrl+shift+f 全局字符串搜索 ctrl+shift+a 配置项搜索 双shift全局
- 计算机学院在武汉大学,中国最美大学—武汉大学
- k8s之service服务(微服务)
- DDD理论学习系列(2)-- 领域
- 阿里发布天猫精灵X1 探索人机交互新大陆
- 最小环 floyd java_Floyd最小环
- 如何在C/C++中动态分配二维数组
- TortoiseGit(Windows)使用方法汇总
- 计算机专业基础 -- Linux系统相关基础知识
- android 获取手机型号和系统版本,Android 获取imei号码,获取手机型号和系统版本号等信息...
- 什么样男人必出轨 震惊!出轨男子名字中居然都有这字
- python 中文名称文件保存
- 软件魔方制作系统启动盘并安装win7系统
- 瑞吉外卖-2022微信小程序点餐项目
- DCIN是什么意思(相机上dcin是什么意思)
- 用代码加密,2种方法教你在C#中保护PPT文档