从S3中导入数据到Dynamodb
文件内部结构会在
Verify Data Export File 中描写叙述。
- The destination table 已经存在。 (导入任务不会为你创建表)
- The destination table 与 source table 有同样的名称。
- The destination table 与 source table 有同样的结构。
比如,你有一个Customer 表,它的主键是CustomerId。而且仅仅有三个items (CustomerId 1, 2, and 3)。
假设要导入的文件里相同包括CustomerID 为1, 2, and 3的items。这些在destination table中的items将会被导入文件里的数据替换。假设文件里还包括CustomerId为4的item,那么这个item会被增加到
destination table中。
- 登陆AWS管理控制台,然后打开dynamodb控制台: https://console.aws.amazon.com/dynamodb/.
- (可选) 假设你想做块区域导入。点击右上角的Select a Region 然后选择要导入的表的区域。控制台会显示该区域下的全部表。
假设destination table不存在的话。你须要先创建它。
- 在 Amazon DynamoDB Tables 页面, 点击 Export/Import.
- 在 Export/Import 页面,选择一个你要导入的表,然后点击 Import into DynamoDB.
- 在 Create Import Table Data Pipeline 页面,按以下步骤操作:
- S3 Input Folder 文本框中输入导入文件相应的 Amazon S3 URI。比如:
s3://mybucket/exports
这个URI的规则应该是这样s3://
bucketname/folder
: bucketname
是S3中bucket的名称folder
表示存放要导入的文件的名称
- 导入任务会通过指定的S3位置找到相应的文件。
文件内部结构会在
Verify Data Export File 中描写叙述。 - 在 S3 Log Folder 文本框中输入一个S3 URI,导出过程的日志将被存储在对应的folder中。比如:
s3://mybucket/logs/
S3 Log Folder URI的格式和 S3 Output Folder的格式同样。 - 在 Throughput Rate 文本框中可选择一个百分比。
这个比率表示在导出过程中会消耗读吞吐量的上限。比如,如果你要导出的表的读吞吐量是20,同一时候你设置的百分比是40%。
那么导出时所消耗的吞吐量将不会超过8.
假设你在导出多个表。这个 Throughput Rate 将会被应用到每一个表中。 - Execution Timeout 文本框,输入导出任务的超时时长。假设导出任务在这个时长内还没运行完毕,此任务会失败。
- Send notifications to 文本框,输入一个email地址。在 pipeline被创建后。你将会收到一封email邀请订阅Amazon SNS。假设你接受了此邀请,在每次运行导出操作时你都将会收到email通知。
- Data Pipeline Role, 选择 DataPipelineDefaultRole.
- Resource Role, 选择 DataPipelineDefaultResourceRole
- S3 Input Folder 文本框中输入导入文件相应的 Amazon S3 URI。比如:
- 确认好以上设置然后点击 Create Export Pipeline.
要查看当前状态。移步 Managing Export and Import Pipelines.
转载于:https://www.cnblogs.com/blfbuaa/p/6789950.html
从S3中导入数据到Dynamodb相关推荐
- 从Excel中导入数据时,提示“未在本地计算机上注册“Microsoft.ACE.OLEDB.12.0”提供程序”的解决办法...
注意,64位系统,用64位的补丁文件; https://www.cnblogs.com/A2008A/articles/2438962.html 操作系统:使用的是64位的Windows Server ...
- 数据库-表中导入数据-insert
表中导入数据 在表中导入数据的方式有两种 第一种:将以上数据整理成SQL语句,insert into pet.... 第二种:通过加载文件的方式将数据导入到表中 1.创建一个pet.txt的文件(注: ...
- python 数据导入mysql_用python批量向数据库(MySQL)中导入数据
用python批量向数据库(MySQL)中导入数据 现有数十万条数据,如下的经过打乱处理过的数据进行导入 数据库内部的表格的数据格式如下与下面的表格结构相同Current database: pyth ...
- sqoop动态分区导入mysql,使用sqoop import从mysql往hive含分区表中导入数据的一些注意事项...
先看下面这条语句,它实现的功能是将特定日期的数据从mysql表中直接导入hive $ sqoop import \ --connect jdbc:mysql://192.168.xx.xx:3306/ ...
- python批量导入mysql_用python批量向数据库(MySQL)中导入数据
用python批量向数据库(MySQL)中导入数据 现有数十万条数据,如下的经过打乱处理过的数据进行导入 数据库内部的表格的数据格式如下与下面的表格结构相同 Current database: pyt ...
- 把json数据导入linux,使用json文件给es中导入数据
使用json文件可以给es中导入数据,10万条左右的数据可以一次导入,数量太大时导入就会报错.大数量的到导入还是需要用bulk方式. accounts.json文件格式如下: {"index ...
- 从csv文件中导入数据到MySQL数据库
从csv文件中导入数据到MySQL数据库 转: 一.Workbench客户端导入(8.0.11基本导不全且速度奇慢) 1.点击如下图标创建数据库(非必要) 2.在表类上右键导入 二.SQL语句导入(可 ...
- excel文件导入hive乱码_hive 从Excel中导入数据
拿到Excel表后将数据保留,其他的乱七八糟都删掉,然后另存为txt格式的文本,用nodepad++将文本转换为UTF-8编码,此处命名为cityprovince.txt 将cityprovince. ...
- Origin中导入数据后怎样快速便捷的观看数据迷你图
Origin中导入数据后怎样快速便捷的观看数据迷你图 在Origin中做大批量数据统计分析且有多个参数时,可以先验通过各个参数的迷你图大致看出数据走势规律,但有时候导入数据后不会自动生成迷你图,这时就 ...
最新文章
- RESTful视图之Request 与 Response
- SAP MM 启用批次管理的物料,在分类视图里指派023类型分类不是必须的
- 深入分析 java 8 编程语言规范:Threads and Locks
- iOS 5解决Could not instantiate class named NSLayoutConstraint问题
- 指数分布的期望推导过程
- css3优惠卷上方锯齿_css3怎么实现锯齿边框?
- Codeforces Round #277 (Div. 2) 题解
- STM32F103按键操作的另一种实现——状态机
- 2_RabbitMQ工作模式_Work queues_Publish/Subscribe_Routing_Topics_HeaderRpc
- Create new module “HelloWorld” – in Magento
- linux文件比较,合并,查找重复行
- 程序员刚入职很痛苦_在中国,程序员这行能干一辈子吗?
- 公开课丨苏杰新著来袭,十年之后再谈人人都是产品经理!
- 微型计算机输入输出的工业标准是7位,工业用微型计算机试题3
- Linux文件打包与压缩
- grldr引导iso PE img 文件
- 安装了两种oracle数据库怎么卸载,oracle数据库卸载步骤
- BS版的U8物料查询系统
- sendgrid html text,包括里面sendgrid鄂麦邮件的内容我的HTML代码
- 关于APP个人信息安全和隐私合规评估,你想知道的都在这!
热门文章
- Java面试常考的面试题整理
- 收集17句经典程序员口头禅
- 程序员的二十句励志名言,看看你最喜欢哪句?
- execjs执行js出现window对象未定义时的解决_10个常见的JS语言错误总汇
- 「Vueconf」探索 Vue3 中 的 JSX
- 深入剖析Redis系列(四) - Redis数据结构与全局命令概述
- MVC Html.AntiForgeryToken() 防止CSRF***
- Ionic Mac 环境配置
- 编程之美3——N!末尾有多少个0
- Cent OS yum 安装 Adobe flash player