GP copy 数据迁移

实际业务需求：Oracle - >GP

要求1、栏位不一致

2、栏位的类型需要改变

3、源表新旧数据整合到目标表 array_glass_his_t/array_glass_his_old_t - > array_glass_his_t

4、.........(可以对数据做一些简单清洗)

在Oracle建立与目标表结构一致的表，使用

insert into tablename A
select 需要的栏位 from tablename B。

将 table B导出csv档案。

在qmsprd使用

copy 目标表 from '待导入CSV档案' with DELIMITER AS ' , ' NULL as 'null string';

千万级别的数据在秒级可以导入，之前用kettle导千万级别的数据需要12H左右。

Note：1、csv格式必须为utf-8

ERROR:invalid bytesequence for encoding "UTF8": 0xcdf5

2、GP提供postgresql中标准的copy命令，copy是非并行的载入机制，意味着加载和卸载是单线程的。少量数据用copy可以简单处理，不需要建立外部表。

3、注意在G中使用copy 命令导入的csv文件是 not include header columns。

4、Copy是具有事务性的，中途失败会回滚。如下图

GP copy 数据迁移相关推荐

ORACLE使用copy方式存储迁移,详细讲解Oracle数据库的数据迁移方法
添加所需的表空间和用户到目标数据库中:安装所需的SQL*Net2或者Net8软件,并配置用于连接数据库的别名. 在DOS命令提示符下设置oracle_sid=Oracle7_sid. 以Interna ...
我在MongoDB年终大会上获二等奖文章：由数据迁移至MongoDB导致的数据不一致问题及解决方案...
作者 | 上海小胖来源 | Python专栏(ID:xpchuiit) 故事背景企业现状 2019年年初,我接到了一个神秘电话,电话那头竟然准确的说出了我的昵称:上海小胖. 我想这事情不简单,就回 ...
oracle怎么将一列挪到另一列,详细讲解Oracle数据库的数据迁移方法
<详细讲解Oracle数据库的数据迁移方法>由会员分享,可在线阅读,更多相关<详细讲解Oracle数据库的数据迁移方法(4页珍藏版)>请在人人文库网上搜索. 1.详细讲解 Or ...
redis哨兵集群数据迁移_redis集群数据迁移—redis-migrate-tool神器
往常大家对数据的迁移可能会想到mysql.mongodb.oracle等数据库的迁移,对redis数据的迁移可能比较少,因为redis平时都是用来做缓存用,里面的数据无所谓.因为某些特殊场景下,red ...
关于MongDB数据迁移方案的研究
如果说mongodb在设计上有什么缺陷,那数据迁移应该算是不小的一个,在集群内部,不同分片之间的auto-balance问题频出,无法用于实际生产环境,而集群之间的数据迁移也没有给出一个可行的方案. ...
oracle 数据库数据迁移解决方案
大部分系统由于平台和版本的原因,做的是逻辑迁移,少部分做的是物理迁移,接下来把心得与大家分享一下去年年底做了不少系统的数据迁移,大部分系统由于平台和版本的原因,做的是逻辑迁移,少部分做的是物理迁移, ...
hbase集群之间数据迁移_hbase数据迁移到另一集群上
通常我们都会有将hbase表数据迁到另一个hbase表中业务需要,这种不要着急,我选择一种最适合的方式,因为每种方式处理的数据量.对集群的压力都是有差异的总的划分可以分为命令行和API两种方式,本人 ...
postgresql 不同数据库不同模式下的数据迁移
编写不容易,转载请注明出处谢谢, 数据迁移因为之前爬虫的时候,一部分数据并没有上传到服务器,在本地.本来用的就是postgresql,也没用多久,数据迁移的时候,也遇到了很多问题,第一次使pg_du ...
数据迁移测试_自动化数据迁移测试
数据迁移测试 Data migrations are notoriously difficult to test. They take a long time to run on large data ...

GP copy 数据迁移

GP copy 数据迁移相关推荐

最新文章

热门文章