热议话题回顾:数据上云和迁移中可能会遇到哪些问题-曾文旌
数据上云和迁移中可能会遇到哪些问题
大家在使用云上数据产品时,免不了要把线下数据迁移上云,或在云上各数据产品之间移动数据。在这个过程中,可能会遇到各种问题,比如在迁移上T的数据或在交易库与分析库之间迁移数据时,往往会无从下手。
我们围绕这些话题进行讨论:
1.各位都使用什么手段把数据上云或迁移数据?
2.在PostgreSQL、Greenplum数据迁移过程中碰到了哪些问题?你是如何解决的?
3.关于ApsaraDB家族的关系数据库PostgreSQL PPAS和分析数据库Greenplum,你有哪些问题或使用技巧?
【精彩互动】
网友earoson :有没有反向迁移功能,下云有方案吗?
- 曾文旌:这是个好问题,你可以下载我们每天的基础备份,在线下恢复。
网友anderson_520 :请问,云上 mysql 中的数据怎么迁移到 gp 中进行分析?
- 曾文旌:参考:https://yq.aliyun.com/articles/59917?spm=5176.8091938.0.0.leKWpm
- 曾文旌 :我们开源的工具 mysql2pgsql 也可以做到,请关注 https://github.com/aliyun/rds_dbsync
阿里专家德哥:物联网中往往会有大量的数据存在文件中,怎么将这类数据快速的导入Greenplum进行分析呢?
- 德哥:物联网可能包含大量的GIS类型,JSON格式的数据。 文件的方式存储,前端可能会有流式或OLTP,但是从原始文件进数据仓库应该是比较高效的方式,比从前端OLTP数据库再ETL来得快。
- idealities:物联网数据,是不是使用InfluxDB这种更合适?
- 德哥:TS数据库的应用场景有限,物联网除了有时序属性,还有其他属性。这方面TS数据库是无法满足的。 通常需要多个数据库结合来使用。
网友pg搬运工:阿里云Greemplum怎么导入大量数据?
- 曾文旌:参考 https://yq.aliyun.com/articles/31632?spm=5176.8091938.0.0.vAsfBW该方法适合大量数据导入
网友廖宙基:物联网中往往会有大量的数据存在文件中,怎么将这类数据快速的导入Greenplum进行分析呢?
- 曾文旌:是的 oss_ext 能满足您的需求,只需要上传文件到 oss ,就能高速入库 greenplum
网友内心迩最重:云虚拟主机怎么安装数据库?
- 曾文旌:虚拟主机上用户需要自己搭建和运维数据库,所以我们推出了RDS服务。
- cnkfz:虚拟主机产品无法自行配置,买啥样就是啥样
- 皓月大路:用ecs不就行了
网友ruby1986:打算业务系统上云,数据有几百G,业务间断只能有2到3小时,因为也许系统数据需要连续性,300g数据导入2小时左右可以搞定吗?什么办法更好一些mssql
- 曾文旌:我们可以采用 全量迁移 + 增量迁移 的方法做到业务停的时间尽量短。
- 只需要在最后等待增量追平主库和数据校验阶段停业务。
网友1277376506016181:如何实现将mysql数据复制到postgresql中,要求实时增量的。
- 曾文旌:基于binlog解析的数据同步能做到实时异构迁移,尽请期待。
网友kylin_yang:怎么把本地的SQLServer数据库上传并导入到阿里云RDS?性能怎么样?管理复杂度如何?
- 石沫 :目前从本地上云集中方式,请根据情形选择:
1. SQL Server Import/Export 工具逻辑导入,比较慢一点,并且有点麻烦,但利用的是SQL Server自己的工具
2. 使用SQL Server备份还原工具,SQL Server自己提供的工具,简单可靠,备份文件后,通过FTP上传文件,并且将数据库导入,备份文件时请选用压缩方式(可能存在版本不支持,取决于你的本地版本)
3. 利用阿里云DTS工具,这个实现全量与增量,具体使用届时可以联系相关同学支持
- dbfun:阿里dts迁移
网友1261476420110162:请问在云数据和本地数据怎样能进行快速实时大数据量的进行交换。
- 曾文旌:这个主要受限网络,如果网络质量能保证,我们有相关的服务能做到。目前一次性上云主要推荐全量+增量的方案。
网友1261476420110162:请问在云数据和本地数据怎样能进行快速实时大数据量的进行交换。
- 曾文旌:这个主要受限网络,如果网络质量能保证,我们有相关的服务能做到。目前一次性上云主要推荐全量+增量的方案。
网友云中大鹏:毕竟东西在云上,不能占用网络带宽,不能锁表停库,那就只能做主从到另一台机器上了,然后另一台机器向下拷贝,来分离主库的使用了,维护成本会加大,不知道还有没有什么好的解决办法。
- 曾文旌:尽量所有业务在云上完成。定期备份数据到线下。
话题原文点此进入>>
更多技术话题请进入聚能聊>>
热议话题回顾:数据上云和迁移中可能会遇到哪些问题-曾文旌相关推荐
- 知乎热议话题:“35岁即失业”,是危言耸听还是真实存在?
微信公众号 | 伤心的辣条(主要分享软件测试的学习资源,帮助想转行.进阶.小白成为高级测试工程师-) 最近一段时间什么最火? <乘风破浪的姐姐>必须榜上有名. 全员姐姐年龄均在30+,女 ...
- 监测现场实时数据上传到中移物联网OneNet云平台
OneNet,中移物联网云平台,是由中国移动打造的PaaS物联网开放平台.平台能够帮助开发者轻松实现设备接入与设备连接,快速完成产品开发部署,为智能硬件.智能家居产品提供完善的物联网解决方案(摘自36 ...
- 知乎热议话题:国内卷了!欧洲为什么能突破内卷?
点击上方"Java精选",选择"设为星标" 别问别人为什么,多问自己凭什么! 下方有惊喜留言必回,有问必答! 每天 08:15 更新文章,每天进步一点点... ...
- 一加8p和鸿蒙系统,网友热议话题:华为鸿蒙系统2.0曝新消息,一加8T口碑出炉...
华为开发的鸿蒙OS系统一直以来都非常受人关注,近日华为方面又爆出关于鸿蒙OS2.0的新信息.消息称目前用于移动版鸿蒙OS2.0的开发工作正在顺利进行当中,研发工作也已经基本准备就绪,今年12月18日就 ...
- 知乎百万热议:互联网已成红海,为什么BAT却不涉足传统制造行业
最近在知乎有一个百万浏览量的热议话题 BAT还停留在送外卖,共享单车,移动支付这些已经充分竞争甚至过分竞争的领域. 而反观制造业,很多设备还相当原始,根本没有用到大数据或人工智能这一类的先进技术,很多 ...
- 华为云数据库公网ip_企业数据上云必有一战,华为云12.12云数据库2折起
每年的Gartner全球数据库魔力象限都会对未来三年的市场进行预测,而2020年的预测相比于2019年的预测出现一个显著的变化,那就是全球75%数据库将被部署或迁移到云平台的时间表提前了一年--从20 ...
- 【Hadoop】HDFS操作、数据上传与下载原理解析、高级特性及底层原理
HDFS操作.数据上传与下载原理解析.高级特性及底层原理 1 HDFS操作 1.1 Web Console网页工具 1.2 命令行 1.2.1 普通的操作命令 1.2.2 管理员命令 1.3 Java ...
- 百度热议业务并入百度站长平台!
百度开始发力短内容,站长平台新增百度热议资源接入服务,供站长们申请后可以统一发布展示,看来百度这是又要跟第三方抢活干了! 了解百度热议的站长们应该知道,百度热议其实就是百度移动端新上的一个频道,内容 ...
- Fabric.js 上划线、中划线(删除线)、下划线
本文简介 点赞 + 关注 + 收藏 = 学会了 在 HTML 也好,Word 也好,基本都有下划线和删除线(中划线). Fabric.js 作为一个老牌 canvas 库,当然也提供中划线和下划线的配 ...
最新文章
- spring--(4)级联属性赋值
- mysql表级锁和行级锁
- poj 3207 Ikki's Story IV - Panda's Trick(2-SAT)
- linux 进程通信比较,浅析Linux进程通信的几种方式及其比较
- 【阿里妈妈营销科学系列】第六篇:营销组合模型MMM
- JavaWeb--JavaEE
- python批量导入mysql_用python批量向数据库(MySQL)中导入数据
- 12_电话拨号器_界面实现
- Visual C++ 6.0下载安装及编写第一个C程序
- List集合排序找出其中的最大和最小值
- html前端几种加密方式的整理,前端js几种加密/解密方法
- ANT:修改测试报告的样式jmeter-results-shanhe-me.xs
- Mave概念及其配置
- 下面有关java final的基本规则,描述错误的是?
- 【RocketMQ】消息的存储设计
- java中slacc意思,家用联通光纤开启IPv6
- 英语四级考试计算机游戏,四级你过了吗电脑版
- 腾讯的核心竞争力是什么
- USACO Training Section 1.3 Calf Flac 解题报告AC代码
- 【Gym 102893 L】The Firm Knapsack Problem (贪心)
热门文章
- 安卓逆向从入门到嗝屁之另一道CTF题目
- 已解决 java.sql.SQLException: 列名无效
- Eureka集群原理
- WinXW_android
- uTools的插件使用
- 逐步释放质疑怎么样释放std::vector所占用的内存空间
- 工程伦理--15.6 克隆技术和干细胞研究的伦理问题(下)
- 互联网早报:腾讯 QQ“兴趣部落”宣布全面停止运营并下线....
- win7 安装 wamp2.5版本的memcache+memcached
- delphi源码转换为C++ Builder源码