使用GreenPlum/postgres的copy命令导出/导入数据

1. COPY命令

1.1 postgres

postgres的COPY命令可以快速的导出/导入数据到postgresql数据库中，支持常用的文件格式，如：txt、sql、csv、压缩文件、二进制格式等。特别适合批量导出和导入数据，速度比较快。

COPY TO把一个表的所有内容都拷贝到一个文件；
COPY FROM从一个文件里拷贝数据到一个表里(把数据附加到表中已经存在的内容里)。

注意：
COPY只能用于表，不能用于视图。

1.2 GreenPlum

对于数据的加载，GreenPlum数据库也提供了copy工具（源于PostgreSQL数据库），使用方法同postgres数据库的copy命令。copy命令支持文件与表之间的数据的导入和导出。

注意：
使用copy命令进行数据导入时，数据需要经过Master节点分发到Segment节点；同样使用copy命令进行数据卸载，数据也需要由Segment发送到Master节点，由Master节点汇总后再写入外部文件。这样就限制了数据加载与卸载的效率，但是数据量较小的情况下，copy命令就非常方便。

当数据量比较大时可以考虑使用GreenPlum的gpload工具来导入。

2. 使用copy命令导出/导入数据的步骤

通常使用psql工具来进行数据的导出和导入。

2.1 准备工作

(1) 创建用于存放导出文件（或待导入文件）的目录，并赋予权限；

注意：
使用root用户

# 创建目录
[root@node8 /]# mkdir /tmp/data# 赋予权限
[root@node8 /]# chmod 777 /tmp/data/

(2) 进入psql并切换数据库

注意：
如果是postgres数据库，则切换到postgres用户；
如果是GreenPlum的MPP，则切换到gpadmin用户；

# 由于我使用的是GreenPlum的MPP，所以切换gpadmin用户
# ---------------------------------------------------------
[root@node8 ~]# su - gpadmin# 进入psql
[gpadmin@node8 ~]$ psql# 使用`\c`命令切换数据库，切换到要导出或导入数据的数据库
# ---------------------------------------------------------
postgres=# \c resdata
You are now connected to database "resdata" as user "gpadmin".

3. 开始使用copy命令导出或导入数据

# 使用 copy 命令将 resdata 库下的 aa_test 表中的数据导出到 /tmp/data/test.csv 文件中
# ---------------------------------------------------------
resdata=# COPY aa_test TO '/tmp/data/test.csv' WITH csv;
COPY 2# 使用 copy 命令将 /tmp/data/test.csv 文件中内容导入到 resdata 库下的 aa_test 表中
# ---------------------------------------------------------
resdata=# COPY aa_test  FROM '/tmp/data/test.csv' WITH csv;
COPY 2

COPY TO还能拷贝SELECT查询的结果。如果声明了一个字段列表，COPY将只在文件和表之间拷贝已声明字段的数据。如果表中有任何不在字段列表里的字段，那么COPY FROM将为那些字段插入缺省值。

# 使用select命令
COPY (select * from bb_test capture_time > '2018-08-16 00:00:00' and capture_time < '2018-08-17 00:00:00') TO '/tmp/data/test_20180816.csv' with csv;

使用GreenPlum/postgres的copy命令导出/导入数据相关推荐

mysql TMM_mysql使用命令导出导入数据(数据备份、恢复)
1.使用mysql进行数据备份.恢复我们使用最多是的Navicat for MySQL客户端工具: 数据备份: DataBase(选中数据) – > Dump SQL File(转储SQL文件) ...
MySQL使用命令导出/导入数据
导出数据库文件常用命令 mysqldump -uroot -pMyPassword databaseName tableName1 tableName2 > /home/foo.sql mys ...
mysql 软件导出导入数据_MySQL 之导出导入数据
mysqldump -u 用户名 -p 数据库名 > 导出的文件名 mysqldump -u root -p --databases db_name > test_db.sql ...
mysql 导入导出 csv_mysql 导出导入数据 -csv
MySql数据库导出csv文件命令: mysql> select first_name,last_name,email from account into outfile 'e://output ...
如何使用 MySQL 的 IDE 导出导入数据表文件（以 Navicat for MySQL 导出导入 Excel 文件为例）
系列文章目录关于更多 MySQL 数据库以及数据库 IDE 的问题大家可以移步本人专栏--MySQL 数据库. 文章目录系列文章目录前言一.使用 Navicat 导出数据表 1.1.使用&qu ...
Postgres 数据库大批量单表导入数据引发性能故障的处理
因公司经营管理策略原因,我们地区部门还是以开发外包和产品服务为主,对测试外包服务销售工作要求占比不高,而测试部门本来有四五个性能测试人员,加上老员工都比较积极做事在测试团队建设管理上不用花费太多精力. ...
oracle11g 使用数据泵导出导入数据
oracle11g 使用数据泵导出导入数据终于搞定了快写个笔记记录下. 删除用户的时候提示已经登录了不能删除,这个需要把登录的session结束掉. select username,sid,se ...
Postman 实现备份数据 Postman恢复数据 postman 导出导入数据 postman 导入导出数据
Postman 实现备份数据 Postman恢复数据 postman 导出导入数据 postman 导入导出数据一.需求描述在使用postman调试接口时,若遇到内网的环境,无法通过账户同步数据: ...
数据导不进oracle数据库,学习笔记:Oracle逻辑导出/导入数据逻辑导出时跳过指定表不进行导出...
天萃荷净 Oracle数据库逻辑exp导出时,跳过指定某些表,对其表中数据不进行导出有一个需求,某个用户有很多张表,但是只能使用exp导出,而且想跳过其中某几张表,其他对象包括依赖关系都需要.针对这 ...