mysql 迁移 nosql_小米从关系型数据库Mysql到Nosql HBase的迁移实践操作
2013年11月22-23日,作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会,2013 Hadoop中国技术峰会(China Hadoop Summit 2013)于北京福朋喜来登集团酒店隆重举行。来自国内外各行业领域的近千名CIO、CTO、架构师、IT经理、咨询顾问、工程师、Hadoop技术爱好者,以及从事Hadoop研究与推广的IT厂商和技术专家将共襄盛举。
在SQL&NoSQL专场,来自小米的资深工程师刘绍辉做了《从关系型Mysql到Nosql HBase的迁移实践》演讲。详细介绍了HBase,以及HBase在小米的使用,小米开发的重要特性和未来的开发计划。
首先,刘绍辉在介绍HBase,他谈到,小米从去年开始调研测试,目前已经十几个业务接入到了HBase上,包括米聊消息的全存储、MiCloud上短信通话记录的同步、小米Push服务、以及一些离线的数据分析业务。
刘绍辉谈到,典型的HBase集群包含了3到5个控制节点,5到n个的数据节点。控制节点和数据节点的主要区别在磁盘上,控制节点对磁盘的容量要求并不是很高,主要是要求磁盘要稳定。
▲典型的HBase集群
刘绍辉继续介绍到,整个系统的自动化部署是小米自己开发的minos工具,直接在命令行操作,可以很简单的创建集群、修改配置文件、升级集群、删除集群等功能。同时,minos也集成了一个监控的功能。目前,这款工具已经在github上开源,小米内部使用的版本和开源版本基本上是一致的(https://github.com/xiaomi/Minos)。
介绍到最佳实践,刘绍辉说,“我们在原生的HBase Client基础上封装了一层小米的HBase Client。这主要是实现了四件事,一是保证线程的安全,二是在HBase Client中可以自动添加性能指标,三是跨表、跨集群操作对用户来说是一致的,四是可以做到动态的更新客户端配置。”
对于一些数据比较重要的业务,我们使用了双主复制,并实现了主备集群的自动切换。当我们确认需要切换集群的时候只要简单的修改一个配置,新的读写请求就会被切换到备集群上。
▲最佳实践
另外,在其他方面也有了一些优化,如平滑升级,使用基于move region脚本减少不可用时间;Full GC,每天低峰期触发Full GC;Compaction,提升写的性能;四是Shortcircuit Read;安全,Kerberos认证。
在最后谈到未来的开发计划,刘绍辉介绍到,我们希望能做到同步复制,跨行跨表的原子性,全局二级索引,以及做一些Compaction优化, Failover相关的优化,多租户共享集群与共有云,HMaster重构。在与社区共同发展方面,刘绍辉继续谈到,我们也会参与HBase修改反馈回社区,以及会紧跟社区最新进展,积极参与社区方案设计和讨论。
mysql 迁移 nosql_小米从关系型数据库Mysql到Nosql HBase的迁移实践操作相关推荐
- mysql 迁移 nosql_从关系型Mysql到Nosql HBase的迁移实践
2013年11月22-23日,作为国内唯一专注于hadoop技术与应用分享的大规模行业盛会,2013 Hadoop中国技术峰会(China Hadoop Summit 2013)于北京福朋喜来登集团酒 ...
- sqlite mysql pgsql_SQLite 、MySQL 与PostgreSQL三个关系型数据库的比较
SQLite .MySQL 与PostgreSQL三个关系型数据库的比较 1970年埃德加·科德提出关系模型之后,关系型数据库便开始出现,经过40多年的演化,如今的关系型数据库不仅种类繁多,而且功能强 ...
- Hadoop学习之路(五):Hadoop交互关系型数据库(MySQL)
内容简介 一.Hadoop与数据库交互简介 二.操作前的准备 1.创建表 2.将数据插入表words中 2.将MySQL的驱动分发到所有的Hadoop节点 三.Hadoop与MySQL交互实现 1.创 ...
- 什么是腾讯云关系型数据库(MySQL/SQL Server/MariaDB/PostgreSQL详解)
什么是腾讯云关系型数据库?腾讯云关系型数据库提供 MySQL.SQL Server.MariaDB.PostgreSQL详细介绍.腾讯云关系型数据库让您在云中轻松部署.管理和扩展的关系型数据库,提供安 ...
- mysql事务四个特性_关系型数据库mysql事务四大特性
关系型数据库mysql 事务四大特性 一.首先我们先说一下什么是事务 在mysql中对数据进行增删改查中的任何一次操作的过程都可以被认为是一次事务,事务是一系列严密的操作,事务的结束有两种结果,当事务 ...
- 关系型数据库MySql与非关系型数据库NoSql
云计算背后的秘密:NoSQL诞生的原因和优缺点 我本来一直觉得NoSQL其实很容易理解的,我本身也已经对NoSQL有了非常深入的研究,但是在最近准备YunTable的Chart的时候,发现NoSQL不 ...
- mysql关系数据库_关系型数据库MySql简介
什么是关系型数据库? 数据库就是用来存储数据的仓库,是一种特殊的文件. 根据存储的数据不同,划分为关系型数据库和非关系型数据库. 关系型数据库就是指 建立在关系模型基础上的数据库,通俗来讲这种数据库就 ...
- 《Python3 网络爬虫开发实战》:关系型数据库 MySQL 存储
关系型数据库是基于关系模型的数据库,而关系模型是通过二维表来保存的,所以它的存储方式就是行列组成的表,每一列是一个字段,每一行是一条记录.表可以看作某个实体的集合,而实体之间存在联系,这就需要表与表之 ...
- 使用D2RQ转换关系型数据库Mysql数据为RDF
目录 背景 1.安装D2RQ 1.1 简介 1.2 下载安装 1.3 配置mysql连接 2.转换为RDF 2.1 将mysql映射到mapping上 2.2 将Mysql数据转为RDF 背景 知识图 ...
最新文章
- JavaScript 数据拷贝
- python增删改查人名管理_python3字典列表的增删改查(名片管理系统函数版)
- PHP函数整理(一)
- UA STAT687 线性模型II 最小二乘理论3 广义最小二乘
- 2020年中国服务机器人行业研究报告
- uva11992-Fast Matrix Operations(区间增值、改值)
- java注册表添加键值_Java通过CMD方式读取注册表任意键值对
- gitlab修改服务器地址,GitLab服务器IP地址设置
- 打印纸张尺寸换算_纸张的尺寸规格对照
- JS实现PDF文件下载
- 你知道怎么衡量硬件设备的算力吗?
- 如何通过Python制作日历壁纸
- Android项目大全
- Working Practice-善用酝酿效应
- golang 使用RSA生成公私钥,加密,解密,并使用SHA256进行签名,验证
- Day2作业:购物商城
- SDN开源,从你的全世界路过
- “深入理解”的目标是什么?
- swf2exe,Flash2exe,SWF to Exe转换器,FLV视频打包,SWF转换为Exe,Flash转换为Exe视频
- 摸瓜APK反编译手册大全(多图)