还在继续给客户迁移不同的系统到Azure,这一次是一个系统的MySQL数据库要迁移,将迁移过程记录一下 原系统环境

数据库版本:MySQL Community Edition 5.7

服务器环境:自建机房虚拟化环境,E7 4820 分配8核32G,主节点+非热备灾备节点

运维方式:每日夜间停止服务,ETL程序备份全库至灾备环境

数据规模:用户与业务表相关表,记录数据量在500万级别以内;日志表,记录数据量在5000万条以内,总数据存储量在50G Azure环境选择

考虑到Azure并不擅长MySQL的PaaS服务(这是我自己的意淫),所以原本计划在Azure上新建相同配置的虚拟机并安装同样的MySQL版本,后经过与Azure专家的沟通,确认Azure的MySQL数据库服务是适合并且稳定的服务于商用环境的,所以最终的方案是,新建一个MS4规模的MySQL库,在官网可以查询到MS4规模如下:

可以看到有100G的空间,应该是足够的,1000的连接数也是绰绰有余

对比一下阿里云的价格

其实这样直接对比没什么意义,但是相对而言,阿里云的MySQL看上去还是稍微便宜点 开始在Portal中新建MySQL数据库

可以看到这里还加了一个(预览),可能还是一个内部在持续研发的产品吧

下面选择配置并输入管理员账号和密码

等待一会后,创建完成

可以看到,这里沿用了和SQL Azure一样的结构,即服务器-数据库的架构,需要自己新建数据库和账号

然后就发现一个比较坑爹的地方,就是新的Portal面板,功能缺失严重,竟然没有防火墙管理,密码管理也有BUG,从而导致一直无法通过Navicat访问成功,幸好想起1年前曾经在经典面板中看到过相关功能,于是前往经典面板,发现了这台新建的数据库,并且找到了防火墙配置

于是添加一条允许所有IP地址的规则,用于临时数据迁移

后来经过与Azure专家的沟通得知,新的控制面板还不全面,后续会加一些提示,提醒用户前往经典面板进行管理,或者会临时关闭新面板上的MySQL管理

下面就开始进行正式的数据迁移 首先是对原数据库的备份

由于我对数据库非常不精通,而MySQL就更不熟悉了,所以为了保险起见,做了如下准备工作

1、在夜间操作

2、关闭了所有对外的Web服务

3、停止MySQL服务,对MySQL的数据库文件目录(Data目录)进行了文件拷贝备份(50G),数据库级的备份就没有做了,因为ETL程序每天有备份 然后开始选择迁移方式

事先想到了三种可能的迁移方式,经过搜索最终用了如下两个工具

1、Navicat For MySQL

试用了一下里面的数据传输功能,原理上应该是逐条偏移读取数据,再传输,用这个做数据传输肯定不行,但是Navicat有个特别好用的功能,就是导出MySQL数据结构,于是用Navicat导出了数据结构

然后再连接到Azure库,执行刚才导出的SQL语句,于是就成功的在Azure库中把所有表建好了(包含索引)

2、使用MySQL的SELECT INTO OUTFILE 、LOAD DATA FILE

我不是MySQL专家, 导入导出只能百度,搜索了一下,大部分文章均推荐使用SELECT INTO OUTFILE方式进行快速的导入导出,效率最高,所以我也选择了这种方式

先找一个300万数据的表试试看

可以看到,260万条数据,4分钟导出完成

然后再连接到Azure服务器,执行导入命令,悲剧了,提示没有权限哈哈。

经过与Azure专家的沟通,原来LOAD DATA FILE的时候,要加上Local关键词,这样数据就识别为从客户端读取,而不是服务器上的路径,于是导入试试看

由于带宽受限(5M),所以260万条数据花了40分钟才全部导入成功

不过这也算是成功的开始了

3、实战一下AzureMySQL的速度

进行了一个用户昵称的关键词Like查询,原服务器耗时114秒,Azure服务器耗时2秒,哈哈哈,真是不错啊!!!!然后我就严重怀疑原服务器的性能和优化都存在很大问题!

好了,至此为止,已经可以说顺利的完成了迁移的所有的技术调研和测试,剩下的就是缓慢的表的数据的导入导出了,然后还是要总结一下 总结

1、MySQL的数据迁移,还是比较容易的,可搜索到的资料也很多,特别是数据的导入导出,有很多种办法,都可以尝试尝试

2、Azure的MySQL版整体上看,功能比较简单傻瓜,适合我这样的初级DBA,而在命令行模式下,应该有更多可深入挖掘的参数设置、运维功能

3、今天仅仅是迁移,后续在实际运行中可能还会遇到需要解决的场景和问题,我会保持跟进,随时记录

4、Azure新Portal里面的MySQL管理功能确实是有缺失,建议官方可以优化一下或者暂时先关闭

作者:张柔,发布于博客园与张柔的博客

转载请注明出处,欢迎邮件交流:zhangrou@printhelloworld.com,或者加QQ群:11444444

mysql 移植 azure_初码-Azure系列-记一次MySQL数据库向Azure的迁移相关推荐

  1. 【初码干货】记一次分布式B站爬虫任务系统的完整设计和实施

    [初码文章推荐] 程序员的自我修养 Azure系列文章 阿里云系列文章 爬虫系列文章 [初码产品推荐] AlphaMS开发模式 闪送达城市中央厨房 今天带来一个有意思的东西-分布式B站爬虫任务系统 这 ...

  2. php调mysql接口头文件_php基础系列:PHP连接MySQL数据库用到的三种API

    参考自php手册.本文没有太大意义,仅为方便自己上网查阅. 1.PHP的MySQL扩展 2.PHP的mysqli扩展 3.PHP数据对象(PDO) MySQL扩展函数 这是设计开发允许PHP应用与My ...

  3. Azure系列1.1.2 —— 用于 IntelliJ 的 Azure 工具包的登录说明

    (文中大部分内容(95%)Azure官网上有,我只是把我自己实际操作中遇到的问题在这里阐述一下.) 先决条件 若要完成文章中的步骤,需要安装用于 IntelliJ 的 Azure 工具包,该工具包需要 ...

  4. mysql管理器源码_一个HelloWorld版的MySQL数据库管理器的设计与实现(源码)

    2011年,实习期间写了一个简单的数据库管理器. 今天,特意整理了下,分享给大家. 有兴趣的同学,可以下载源码,瞧瞧. 源码只有4个类:LoginGUI,DatabaseGUI,Record,MySQ ...

  5. solr mysql 导入命令_(solr系列:四)将mysql数据库中的数据导入到solr中及删除solr中导入的数据...

    在前面的博文中,已完成了在tomcat中对solr的部署,为solr添加了一个自定义的core,并且引入了ik分词器. 那么该如何将本地的mysql的数据导入到solr中呢? 准备工作: 1.mysq ...

  6. solr mysql数据注入_(solr系列:四)将mysql数据库中的数据导入到solr中

    在前面的博文中,已完成了在tomcat中对solr的部署,为solr添加了一个自定义的core,并且引入了ik分词器. 那么该如何将本地的mysql的数据导入到solr中呢? 准备工作: 1.mysq ...

  7. php mysql表单源码_PHP表单数据写入MySQL数据库的代码

    废话不多说了,直接给大家贴代码了,具体代码如下所示: if(!isset($_POST['submit'])){ //如果没有表单提交,显示一个表单 ?> 国家: 动物名称(英文): 动物名称( ...

  8. mysql断电同步不起作用_记一次mysql主从同步因断电产生的不能同步问题 1236 and 1032...

    背景: 项目新上线一个月,qa需要测试断电服务拉起,服务拉起成功后,发现mysql主从异常 以下是发现的问题以及解决方案 问题1: Slave_IO_Running:  No 一方面原因是因为网络通信 ...

  9. mysql建表按 t分开_记一次MYSQL建表失败得bug

    CREATE TABLE `SUIT` ( `id` INTEGER(11) NOT NULL AUTO_INCREMENT, `acId` INTEGER(11) NULL COMMENT '活动I ...

最新文章

  1. Python Qt GUI设计:窗口之间数据传递(拓展篇—5)
  2. MySQL-InnoDB究竟如何巧妙实现,4种事务的隔离级别
  3. C++11列表初始化
  4. Map以自定义类做为键值
  5. java浮点数数转二进制的数吗_深入理解计算机系统(2.7)-二进制小数和IEEE浮点标准 - Java 技术驿站-Java 技术驿站...
  6. android 摇一摇动画效果,android 微信摇一摇动画效果
  7. 程序开发入门工具之CodeBlocks
  8. 中国的 30万 DBA 们来自何方,向何处去?
  9. Know more about Enqueue Deadlock Detection
  10. mysql+数据库主从原理_MySQL主从复制原理及实现
  11. Python中的unittest模块(入门学习款)
  12. 190514每日一句
  13. Open Virtual Machine Tools
  14. 手写minist的DataLoader
  15. 基于PLC控制的液压控制系统,QY-QDYY05
  16. Windbg分析蓝屏Dump文件
  17. 微信公众号开发C#系列-11、生成带参数二维码应用场景
  18. 网站社交登录之微博登录
  19. 目前市场上最好用的时序数据库是什么?
  20. php是世界上最好的语言滑稽,比较滑稽的句子_搞笑逗比的说说语录

热门文章

  1. Perl通过WIN32 OLE来操作EXCEL
  2. 设计模式实战 - 责任链模式
  3. Javascript 未结束的字符串常量
  4. Ubuntu Dapper 提速脚本
  5. 知识产权界福布斯排行榜公布:厉害了,我的中国!
  6. 数据结构-String、char
  7. 【DFS/BFS】NYOJ-58-最少步数(迷宫最短路径问题)
  8. AlwaysOn只读路由配置
  9. Android 2D Graphics
  10. 大家都纷纷指出了 wp7 的优点 …