mysql 迁移 nosql_从关系型Mysql到Nosql HBase的迁移实践
2013年11月22-23日,作为国内唯一专注于hadoop技术与应用分享的大规模行业盛会,2013 Hadoop中国技术峰会(China Hadoop Summit 2013)于北京福朋喜来登集团酒店隆重举行。来自国内外各行业领域的近千名CIO、CTO、架构师、IT经理、咨询顾问、工程师、Hadoop技术爱好者,以及从事Hadoop研究与推广的IT厂商和技术专家将共襄盛举。
在SQL&NoSQL专场,来自小米的资深工程师刘绍辉做了《从关系型Mysql到Nosql HBase的迁移实践》演讲。详细介绍了HBase,以及HBase在小米的使用,小米开发的重要特性和未来的开发计划。
首先,刘绍辉在介绍HBase,他谈到,小米从去年开始调研测试,目前已经十几个业务接入到了HBase上,包括米聊消息的全存储、MiCloud上短信通话记录的同步、小米Push服务、以及一些离线的数据分析业务。
刘绍辉谈到,典型的HBase集群包含了3到5个控制节点,5到n个的数据节点。控制节点和数据节点的主要区别在磁盘上,控制节点对磁盘的容量要求并不是很高,主要是要求磁盘要稳定。
▲典型的HBase集群
刘绍辉继续介绍到,整个系统的自动化部署是小米自己开发的minos工具,直接在命令行操作,可以很简单的创建集群、修改配置文件、升级集群、删除集群等功能。同时,minos也集成了一个监控的功能。目前,这款工具已经在github上开源,小米内部使用的版本和开源版本基本上是一致的(https://github.com/xiaomi/Minos)。
介绍到最佳实践,刘绍辉说,“我们在原生的HBase Client基础上封装了一层小米的HBase Client。这主要是实现了四件事,一是保证线程的安全,二是在HBase Client中可以自动添加性能指标,三是跨表、跨集群操作对用户来说是一致的,四是可以做到动态的更新客户端配置。”
对于一些数据比较重要的业务,我们使用了双主复制,并实现了主备集群的自动切换。当我们确认需要切换集群的时候只要简单的修改一个配置,新的读写请求就会被切换到备集群上。
▲最佳实践
另外,在其他方面也有了一些优化,如平滑升级,使用基于move region脚本减少不可用时间;Full GC,每天低峰期触发Full GC;Compaction,提升写的性能;四是Shortcircuit Read;安全,Kerberos认证。
在最后谈到未来的开发计划,刘绍辉介绍到,我们希望能做到同步复制,跨行跨表的原子性,全局二级索引,以及做一些Compaction优化, Failover相关的优化,多租户共享集群与共有云,HMaster重构。在与社区共同发展方面,刘绍辉继续谈到,我们也会参与HBase修改反馈回社区,以及会紧跟社区最新进展,积极参与社区方案设计和讨论。
mysql 迁移 nosql_从关系型Mysql到Nosql HBase的迁移实践相关推荐
- mysql 迁移 nosql_小米从关系型数据库Mysql到Nosql HBase的迁移实践操作
2013年11月22-23日,作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会,2013 Hadoop中国技术峰会(China Hadoop Summit 2013)于北京福朋喜来登集团酒 ...
- mysql不属于nosql_哪个数据库不属于nosql的范畴
{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],&q ...
- MySQL列举常见的关系型数据库和非关系型都有那些?
关系型数据库: Oracle.DB2.Microsoft SQL Server.Microsoft Access.MySQL 非关系型数据库: NoSql.Cloudant.MongoDb.redis ...
- MYSQL: 渐行渐远的开源关系型数据库典范
多年以前,随着NoSQL等概念的推行,一时间恍惚到了关系型数据库的末日,结果数年过去,Oracle依然老当益壮,一家独大地卖licence挣得盆满钵满.收掉Sun的同时顺手得到了开源关系型数据库王者的 ...
- Mac MySQL 数据库配置(关系型数据库管理系统)
本文已停止更新,点击此链接查看本文最新内容 !!! 前言 MySQL 关系型数据库管理系统. 1.配置准备工作 1)配置数据库准备工作 下载相关软件 mysql-5.7.21-1-macos10.13 ...
- go mysql slave_【Golang+mysql】记一次mysql数据库迁移(一)
# [记一次mysql数据库迁移(一)](https://github.com/stayfoo/stayfoo-hub/blob/master/docs/mysql/blog/%E8%AE%B0%E4 ...
- 远程登录另一个mysql 数据库_Ubuntu中开启MySQL远程访问功能,并将另一个数据库服务器中的数据迁移到新的服务器中...
技术交流群:233513714 一.开启MyS远程访问功能 1.进入服务器输入netstat -an | grep 3306确认3306是否对外开放,MySQL默认状态下是不对外开放访问功能的.输入以 ...
- linux mysql迁移,Linux 下安装MySQL并迁移备份
简单记录下在centOS上安装MySQL(MariaDB)的过程. 这里我并没有选择特定的MySQL版本,使用的是源默认提供的版本. 1. 执行安装命令: 执行如下指令安装MySQL数据库. 1 yu ...
- mysql云上迁移_自建mysql 迁移到云上-问答-阿里云开发者社区-阿里云
详细解答可以参考官方帮助文档 使用 数据传输服务 DTS 可以将本地 MySQL 实例的数据迁移到 RDS for MySQL 实例.数据传输服务 DTS (以下简称 DTS) 提供的增量数据同步功能 ...
最新文章
- SAP Business Explorer 初探
- POJ 2718 Smallest Difference 贪心构造
- Android Studio常见报错及处理办法
- Python Django 模板继承(header,body,footer抽取)
- python 逻辑回归准确率是1_python数据分析(三)——逻辑回归之学生成绩预测
- Linux常用命令之wget
- 博士生Science发文:很庆幸导师要求每周交工作进展汇报!
- redis 中一个字段 修改map_CTO 指名点姓让我带头冲锋,熬了一个通宵,终于把Redis中7千万个Key删完了...
- Golang 位向量
- 2.SpringBoot的入门例子
- Sql优化之Mysql表分区
- mysql支持啥系统_快速的掌握MySQL支持的操作系统
- WordPress 跨站请求伪造漏洞
- 安装74cms时出现的错误
- springboot接入微信,支付宝支付
- 科三——细则以及扣分点
- Linux 挂载光盘镜像配置本地 yum 源安装软件
- 计算机应用和维护发展方向,计算机应用技术的现状及前景
- ssh外网访问内网服务器
- 【零基础】极星9.3下单详解