greenplum数据迁移gpcopy
greenplum数据迁移
- 说明
- 软件
- gpcogy设置
- 实践
- 报错
- 验证
- 查看数据库和表大小
- 查看数据库和磁盘base对应关系
- gpcopy数据同步
- 疑问
- 数据库疑问
- mirror进程没有启动
- 参考
说明
本次测试基于
greenplum-db-6.4.0-rhel6-x86_64.rpm
gpcopy-2.3.1.tar.gz(仅在百度云分享)
软件
百度云:
https://pan.baidu.com/s/1tBqGEEeye_NRAVnbu9Nptw
u4j8
阿里云:
链接:https://www.aliyundrive.com/s/DE1cDbrfMiP
官网:
greenplum:
https://network.pivotal.io/products/vmware-tanzu-greenplum#/releases/972275/file_groups/5616
gpcopy:
https://network.pivotal.io/products/gpdb-data-copy
gpcogy设置
1.解压安装包
tar xzvf gpcopy-2.3.1.tar.gz 2.在master节点,复制gpcopy和gpcopy_helper到相应的bin目录
cp gpcopy $GPHOME/bin
cp gpcopy_helper $GPHOME/bin3.赋予权限
chmod 755 $GPHOME/bin/gpcopy
chmod 755 $GPHOME/bin/gpcopy_helper4.在segment节点的操作如下,只拷贝gpcopy_helper到相应目录下并赋予权限即可。
自定义安装的路径
默认安装的路径
/usr/local/greenplum-db-6.4.0/bin
实践
部分实践,其他迁移方法 参考官网等方式
# --debug 是为了在前台查看日志
# 从21服务器上把dmtestone表 数据迁移到 102服务器上
# datadev.public.dmtestone
# 库:datadev 模式:public 表:dmtestonegpcopy --source-host 192.168.100.21 --dest-host 192.168.100.102 --include-table datadev.public.dmtestone --drop --dest-table postgres2.public.dmtestone --debug# 从21服务器上把dc数据库 迁移到 102服务器上
gpcopy --source-host 192.168.100.21 --dest-host 192.168.100.102 --dbname dc --dest-dbname dc --skip-existing --debug
报错
迁移的时候 目前数据库如果存在也会 ***报错***,应该是有其他方式的。
迁移的时候 报错 pq: password authentication failed for user “gpadmin”
修改了
master/gpseg-1/pg_hba.conf
#host all all 0.0.0.0/0 md5host all all 0.0.0.0/0 trust
报错
DDL renaming for schema or table is not supported for “datassets_dev” .“public” ." dmtestone" =s “postgres" .“public” ."newtable2*
修改命令:不要修改表名
验证
Navicat或者 DBeaver 连接到数据库
从21 迁移数据库dc到102
102数据库 刷新一下,有了dc数据库
Navicat
DBeaver
工具需要设置一下
查看数据库和表大小
查看库:
select pg_size_pretty(pg_relation_size('abg'));
查看表:
select pg_size_pretty(pg_total_relation_size('newtable'));
查看数据库和磁盘base对应关系
select oid, datname from pg_database;
gpcopy数据同步
源数据源新建一个数据库,新建一张表
执行gpcopy 数据不会丢失21机器上新建了一个cppytest1的新数据库 新表wert
执行命令
gpcopy --source-host 192.168.100.21 --dest-host 192.168.100.102 --dbname copytest1 --dest-dbname copytest1 --skip-existing
疑问
数据库疑问
迁移的数据库 表的大小发生了变化,但是经抽查表数据,数据未丢失
还望大佬赐教
mirror进程没有启动
gpstate -m
SELECT * from gp_segment_configuration ;
分别在故障的gp3 gp4 创建配置文件
cd /home/greenplum/gp3/
cd /home/greenplum/gp4/
使用命令gprecoverseg -o ./recov
gprecoverseg -i ./recov
报错了 数据库gpadmin找不见,手动创建了一个
重新执行
gprecoverseg -i ./recov
验证:mirror已经启动
数据已经同步
recov文件的内容
cat /home/greenplum/gp3/recovcat /home/greenplum/gp4/recov
参考
greenplum 数据库的拷贝-gpcopy
https://www.jianshu.com/p/dde22ad9a04a
Greenplum数据迁移–gpcopy的知识点整理
https://blog.csdn.net/qq_42957844/article/details/103235035
Greenplum gpcopy 安装使用介绍
https://blog.csdn.net/dazuiba008/article/details/107068259
迁移先决条件,迁移命令参数,等等可以参考官方文档,如下:
https://gpdb.docs.pivotal.io/data-copy/2-2/install.html
https://gpdb.docs.pivotal.io/data-copy/2-2/gpcopy-migrate.html
https://gpdb.docs.pivotal.io/data-copy/2-2/gpcopy.html
GreenPlum查看表和数据库大小
https://www.cnblogs.com/jiang910/p/10076462.html
记录一次GreenPlum6 故障以及恢复方法
https://blog.51cto.com/lishiyan/2706887
Greenplum数据迁移工具gpcopy升级到 1.1.0
https://cloud.tencent.com/developer/news/355959
greenplum数据迁移gpcopy相关推荐
- Greenplum数据迁移工具——gpcopy
gpcopy是一个数据迁移实用程序,可以在不同集群之间进行传输数据,可以将一个集群中的Greenplum数据库的元数据和数据复制到另一个集群的Greenplum数据库中.gpcopy可以迁移数据库的全 ...
- 数据迁移同步平台CloudCanal免费社区版正式发布,诸多功能特性等你体验!
关于CloudCanal 产品介绍 2021年8月1日,经历近2年的准备,CloudCanal社区版正式与大家见面了.CloudCanal是一款由ClouGence公司发行的集结构迁移.数据全量迁移/ ...
- GreenPlum数据备份与恢复
GreenPlum数据备份与恢复 gp_dump是GP并行备份的备份工具,在运行gp_dump的时候master与所有的segment节点都开始备份(standby节点和segment节点中的mirr ...
- 分布式数据库--ZMP数据迁移平台
在云计算.大数据和物联网时代,数字化转型悄然在各行各业中进行.然而数据作为最基础的要素,如何进行多源异构的海量数据交换?如何保证数据的时效性和准确性?如何让海量异构数据实现云上.云下的协同?是我们长此 ...
- svn的代码提交到git服务器_svn服务器代码仓库,数据迁移到git仓库
svn服务器代码仓库,数据迁移到git仓库 1.安装svn [root@tomcat01 ~]# yum install subversion -y 2.初始化仓库 [root@tomcat02 ~] ...
- 记一次大规模数据迁移和加密
公司的核心业务合作伙伴淘宝网,最近出现泄漏用户信息的现象,找了好久找不到根源,于是乎,淘宝那边决定对所有敏感数据进行加密,从出口和入口都走密文,于是乎,我们的工作量就来了. 我们的一个底单数据库,存储 ...
- 一种可以避免数据迁移的分库分表scale-out扩容方式
原文地址:http://jm-blog.aliapp.com/?p=590 目前绝大多数应用采取的两种分库分表规则 mod方式 dayofweek系列日期方式(所有星期1的数据在一个库/表,或所有?月 ...
- TFS数据迁移之sync_by_blk
本文档记录了两套tfs 2.2.16系统之间的数据迁移过程. Source环境介绍: Tfs 主nameserver: 192.168.1.225/24 (vip 229) Tfs 从nameserv ...
- 完美数据迁移-MongoDB Stream的应用
目录 一.背景介绍 二.常见方案 1. 停机迁移 2. 业务双写 3. 增量迁移 三.Change Stream 介绍 监听的目标 变更事件 四.实现增量迁移 五.后续优化 小结 附参考文档 一.背景 ...
- Entity Framework CodeFirst数据迁移
原文:Entity Framework CodeFirst数据迁移 前言 紧接着前面一篇博文Entity Framework CodeFirst尝试. 我们知道无论是"Database Fi ...
最新文章
- 360浏览器如何设置为像chrome谷歌浏览器那样输入网址回车在当前页面,而不是新建一个标签打开
- 完全卸载Oracle方法(亲测有效)
- java.lang.OutOfMemoryError​异常解决方法
- 推荐一个C++练手项目,面试也可用
- java ab与ab的区别 a|b与a||b的区别 break、continue、return
- 数据分析写作——程序员的另外一种输出
- t–sql pl–sql_SQL View –完整的介绍和演练
- 点击MSFlexGrid数据控件的标题进行数据排序
- CCF201509-5 最佳文章【AC自动机】(100分解题链接)
- c#连接kafka_c#操作kafka(上)搭建kafka环境
- dpkg:处理 xxx (--configure)时出错解决办法,也可用于卸载软件出错的情况
- 寻找肇事汽车车牌号C语言,北京交通大学C语言综合程序的设计(黄宇班).doc
- php $stmt,PHP在stmt准备和执行语句后获取结果
- tomcat发布web项目为什么页面图片显示不出来
- 只有360浏览器能打开别的都打不开
- 常见的一些代码编辑器
- 视频消重软件百度云 小视频修改md5
- 有意思,原来SQL中的NULL是这么回事儿
- int类型以及指针的类型所占字节的大小,到底是由什么决定的?
- 每天一点数据库之-----Day 9 表连接