数据上云和迁移中可能会遇到哪些问题

发布者:曾文旌-阿里数据库专家,关注PostgreSQL相关技术

大家在使用云上数据产品时,免不了要把线下数据迁移上云,或在云上各数据产品之间移动数据。在这个过程中,可能会遇到各种问题,比如在迁移上T的数据或在交易库与分析库之间迁移数据时,往往会无从下手。

我们围绕这些话题进行讨论:

1.各位都使用什么手段把数据上云或迁移数据?
2.在PostgreSQL、Greenplum数据迁移过程中碰到了哪些问题?你是如何解决的?
3.关于ApsaraDB家族的关系数据库PostgreSQL PPAS和分析数据库Greenplum,你有哪些问题或使用技巧?

【精彩互动】

网友earoson :有没有反向迁移功能,下云有方案吗?

  • 曾文旌:这是个好问题,你可以下载我们每天的基础备份,在线下恢复。

网友anderson_520 :请问,云上 mysql 中的数据怎么迁移到 gp 中进行分析?

  • 曾文旌:参考:https://yq.aliyun.com/articles/59917?spm=5176.8091938.0.0.leKWpm
  • 曾文旌 :我们开源的工具 mysql2pgsql 也可以做到,请关注 https://github.com/aliyun/rds_dbsync

阿里专家德哥:物联网中往往会有大量的数据存在文件中,怎么将这类数据快速的导入Greenplum进行分析呢?

  • 德哥:物联网可能包含大量的GIS类型,JSON格式的数据。 文件的方式存储,前端可能会有流式或OLTP,但是从原始文件进数据仓库应该是比较高效的方式,比从前端OLTP数据库再ETL来得快。
  • idealities:物联网数据,是不是使用InfluxDB这种更合适?
  • 德哥:TS数据库的应用场景有限,物联网除了有时序属性,还有其他属性。这方面TS数据库是无法满足的。 通常需要多个数据库结合来使用。

网友pg搬运工:阿里云Greemplum怎么导入大量数据?

  • 曾文旌:参考 https://yq.aliyun.com/articles/31632?spm=5176.8091938.0.0.vAsfBW该方法适合大量数据导入

网友廖宙基:物联网中往往会有大量的数据存在文件中,怎么将这类数据快速的导入Greenplum进行分析呢?

  • 曾文旌:是的 oss_ext 能满足您的需求,只需要上传文件到 oss ,就能高速入库 greenplum

网友内心迩最重:云虚拟主机怎么安装数据库?

  • 曾文旌:虚拟主机上用户需要自己搭建和运维数据库,所以我们推出了RDS服务。
  • cnkfz:虚拟主机产品无法自行配置,买啥样就是啥样
  • 皓月大路:用ecs不就行了

网友ruby1986:打算业务系统上云,数据有几百G,业务间断只能有2到3小时,因为也许系统数据需要连续性,300g数据导入2小时左右可以搞定吗?什么办法更好一些mssql

  • 曾文旌:我们可以采用 全量迁移 + 增量迁移 的方法做到业务停的时间尽量短。
  • 只需要在最后等待增量追平主库和数据校验阶段停业务。

网友1277376506016181:如何实现将mysql数据复制到postgresql中,要求实时增量的。

  • 曾文旌:基于binlog解析的数据同步能做到实时异构迁移,尽请期待。

网友kylin_yang:怎么把本地的SQLServer数据库上传并导入到阿里云RDS?性能怎么样?管理复杂度如何?

  • 石沫 :目前从本地上云集中方式,请根据情形选择:

1. SQL Server Import/Export 工具逻辑导入,比较慢一点,并且有点麻烦,但利用的是SQL Server自己的工具

2. 使用SQL Server备份还原工具,SQL Server自己提供的工具,简单可靠,备份文件后,通过FTP上传文件,并且将数据库导入,备份文件时请选用压缩方式(可能存在版本不支持,取决于你的本地版本)

3. 利用阿里云DTS工具,这个实现全量与增量,具体使用届时可以联系相关同学支持

  • dbfun:阿里dts迁移

网友1261476420110162:请问在云数据和本地数据怎样能进行快速实时大数据量的进行交换。

  • 曾文旌:这个主要受限网络,如果网络质量能保证,我们有相关的服务能做到。目前一次性上云主要推荐全量+增量的方案。
网友1261476420110162:请问在云数据和本地数据怎样能进行快速实时大数据量的进行交换。
  • 曾文旌:这个主要受限网络,如果网络质量能保证,我们有相关的服务能做到。目前一次性上云主要推荐全量+增量的方案。
网友云中大鹏:毕竟东西在云上,不能占用网络带宽,不能锁表停库,那就只能做主从到另一台机器上了,然后另一台机器向下拷贝,来分离主库的使用了,维护成本会加大,不知道还有没有什么好的解决办法。
  • 曾文旌:尽量所有业务在云上完成。定期备份数据到线下。

话题原文点此进入>>

更多技术话题请进入聚能聊>>

热议话题回顾:数据上云和迁移中可能会遇到哪些问题-曾文旌相关推荐

  1. 知乎热议话题:“35岁即失业”,是危言耸听还是真实存在?

    微信公众号 | 伤心的辣条(主要分享软件测试的学习资源,帮助想转行.进阶.小白成为高级测试工程师-) ​最近一段时间什么最火? <乘风破浪的姐姐>必须榜上有名. 全员姐姐年龄均在30+,女 ...

  2. 监测现场实时数据上传到中移物联网OneNet云平台

    OneNet,中移物联网云平台,是由中国移动打造的PaaS物联网开放平台.平台能够帮助开发者轻松实现设备接入与设备连接,快速完成产品开发部署,为智能硬件.智能家居产品提供完善的物联网解决方案(摘自36 ...

  3. 知乎热议话题:国内卷了!欧洲为什么能突破内卷?

    点击上方"Java精选",选择"设为星标" 别问别人为什么,多问自己凭什么! 下方有惊喜留言必回,有问必答! 每天 08:15 更新文章,每天进步一点点... ...

  4. 一加8p和鸿蒙系统,网友热议话题:华为鸿蒙系统2.0曝新消息,一加8T口碑出炉...

    华为开发的鸿蒙OS系统一直以来都非常受人关注,近日华为方面又爆出关于鸿蒙OS2.0的新信息.消息称目前用于移动版鸿蒙OS2.0的开发工作正在顺利进行当中,研发工作也已经基本准备就绪,今年12月18日就 ...

  5. 知乎百万热议:互联网已成红海,为什么BAT却不涉足传统制造行业

    最近在知乎有一个百万浏览量的热议话题 BAT还停留在送外卖,共享单车,移动支付这些已经充分竞争甚至过分竞争的领域. 而反观制造业,很多设备还相当原始,根本没有用到大数据或人工智能这一类的先进技术,很多 ...

  6. 华为云数据库公网ip_企业数据上云必有一战,华为云12.12云数据库2折起

    每年的Gartner全球数据库魔力象限都会对未来三年的市场进行预测,而2020年的预测相比于2019年的预测出现一个显著的变化,那就是全球75%数据库将被部署或迁移到云平台的时间表提前了一年--从20 ...

  7. 【Hadoop】HDFS操作、数据上传与下载原理解析、高级特性及底层原理

    HDFS操作.数据上传与下载原理解析.高级特性及底层原理 1 HDFS操作 1.1 Web Console网页工具 1.2 命令行 1.2.1 普通的操作命令 1.2.2 管理员命令 1.3 Java ...

  8. 百度热议业务并入百度站长平台!

    ​百度开始发力短内容,站长平台新增百度热议资源接入服务,供站长们申请后可以统一发布展示,看来百度这是又要跟第三方抢活干了! 了解百度热议的站长们应该知道,百度热议其实就是百度移动端新上的一个频道,内容 ...

  9. Fabric.js 上划线、中划线(删除线)、下划线

    本文简介 点赞 + 关注 + 收藏 = 学会了 在 HTML 也好,Word 也好,基本都有下划线和删除线(中划线). Fabric.js 作为一个老牌 canvas 库,当然也提供中划线和下划线的配 ...

最新文章

  1. spring--(4)级联属性赋值
  2. mysql表级锁和行级锁
  3. poj 3207 Ikki's Story IV - Panda's Trick(2-SAT)
  4. linux 进程通信比较,浅析Linux进程通信的几种方式及其比较
  5. 【阿里妈妈营销科学系列】第六篇:营销组合模型MMM
  6. JavaWeb--JavaEE
  7. python批量导入mysql_用python批量向数据库(MySQL)中导入数据
  8. 12_电话拨号器_界面实现
  9. Visual C++ 6.0下载安装及编写第一个C程序
  10. List集合排序找出其中的最大和最小值
  11. html前端几种加密方式的整理,前端js几种加密/解密方法
  12. ANT:修改测试报告的样式jmeter-results-shanhe-me.xs
  13. Mave概念及其配置
  14. 下面有关java final的基本规则,描述错误的是?
  15. 【RocketMQ】消息的存储设计
  16. java中slacc意思,家用联通光纤开启IPv6
  17. 英语四级考试计算机游戏,四级你过了吗电脑版
  18. 腾讯的核心竞争力是什么
  19. USACO Training Section 1.3 Calf Flac 解题报告AC代码
  20. 【Gym 102893 L】The Firm Knapsack Problem (贪心)

热门文章

  1. 安卓逆向从入门到嗝屁之另一道CTF题目
  2. 已解决 java.sql.SQLException: 列名无效
  3. Eureka集群原理
  4. WinXW_android
  5. uTools的插件使用
  6. 逐步释放质疑怎么样释放std::vector所占用的内存空间
  7. 工程伦理--15.6 克隆技术和干细胞研究的伦理问题(下)
  8. 互联网早报:腾讯 QQ“兴趣部落”宣布全面停止运营并下线....
  9. win7 安装 wamp2.5版本的memcache+memcached
  10. delphi源码转换为C++ Builder源码