mysql applier_MySQL推出Applier，可实时复制数据到Hadoop-阿里云开发者社区

http://labs.mysql.com

MySQL复制操作可以将数据从一个MySQL服务器(主)复制到其他的一个或多个MySQL服务器(从)。试想一下，如果从服务器不再局限为一个MySQL服务器，而是其他任何数据库服务器或平台，并且复制事件要求实时进行，是否可以实现呢？

MySQL团队最新推出的MySQL

Applier for Hadoop(以下简称Hadoop Applier)旨在解决这一问题。

用途例如，复制事件中的从服务器可能是一个数据仓库系统，如Apache

Hive，它使用Hadoop分布式文件系统(HDFS)作为数据存储区。如果你有一个与HDFS相关的Hive元存储，Hadoop

Applier就可以实时填充Hive数据表。数据是从MySQL中以文本文件形式导出到HDFS，然后再填充到Hive。操作很简单，只需在Hive运行HiveQL语句'CREATE TABLE'，定义表的结构与MySQL相似，然后运行Hadoop Applier即可开始实时复制数据。优势在Hadoop Applier之前，还没有任何工具可以执行实时传输。之前的解决方案是通过Apache Sqoop导出数据到HDFS，尽管可以批量传输，但是需要经常将结果重复导入以保持数据更新。在进行大量数据传输时，其他查询会变得很慢。且在数据库较大的情况下，如果只进行了一点更改，Sqoop可能也需要较长时间来加载。而Hadoop

Applier则会读取二进制日志，只应用MySQL服务器上发生的事件，并插入数据，不需要批量传输，操作更快，因此并不影响其他查询的执行速度。实现Applier使用一个由libhdfs(用于操作HDFS中文件的C库)提供的API。实时导入的过程如下图所示：

数据库被映射作为一个单独的目录，它们的表被映射作为子目录和一个Hive数据仓库目录。插入到每个表中的数据被写入文本文件(命名如datafile1.txt)，数据以逗号或其他符号分割(可通过命令行进行配置)。

详细信息：MySQL

Applier for Hadoop下载地址：mysql-hadoop-applier-0.1.0-alpha.tar.gz(alpha版本，不可用于生产环境)

mysql applier_MySQL推出Applier，可实时复制数据到Hadoop-阿里云开发者社区相关推荐

mysql join 索引无效_ORACLE MYSQL中join 字段类型不同索引失效的情况-阿里云开发者社区...
ORACLE MYSQL中join 字段类型不同索引失效的情况重庆八怪 2016-12-29 780浏览量简介: 关于JOIN使用不同类型的字段类型,数据库可能进行隐士转换,MYSQL ORACL ...
mysql 客户服务号获取_《MySQL排错指南》——1.4　获取查询信息-阿里云开发者社区...
本节书摘来自异步社区出版社<MySQL排错指南>一书中的第1章,第1.4节,作者:[美]Sveta Smirnova(斯维特斯米尔诺娃),更多章节内容可以访问云栖社区"异步社区 ...
mysql 数据库军规_MySQL 数据库开发的33 条军规-阿里云开发者社区
写在前面的话: 总是在灾难发生后,才想起容灾的重要性: 总是在吃过亏后,才记得曾经有人提醒过. (一)核心军规 (1)不在数据库做运算:cpu计算务必移至业务层 (2)控制单表数据量:单表记录控制在1 ...
mysql slave是什么_创建slave的搜索结果-阿里云开发者社区
Rainbond部署Mysql主从集群应用说明 Mysql主从同步原理 1)在Slave 服务器上执行sart slave命令开启主从复制开关,开始进行主从复制. 2)此时,Slave服务器的IO线程 ...
dms mysql定义变量_数据管理DMS：自建MySQL数据库全量SQL诊断功能发布啦！-阿里云开发者社区...
MySQL的用户都面临都一个难题,异常或者故障问题难定位,很多时候都靠"猜". 如果比较幸运,异常正在发生,我们还可以获取到会话.引擎状态等信息: 如果没有异常现场,要找到根因,除 ...
误删阿里云mysql恢复数据恢复_mysql数据库误删除后的数据恢复操作说明-阿里云开发者社区...
在日常运维工作中,对于mysql数据库的备份是至关重要的!数据库对于网站的重要性使得我们对mysql数据的管理不容有失! 然后,是人总难免会犯错误,说不定哪天大脑短路了来个误操作把数据库给删除了,怎么 ...
mysql数据库div函数_关于使用mysql中的div函数报错?报错-问答-阿里云开发者社区-阿里云...
数据库MySQL 5.5.27 jar包:mysql-connector-java-5.1.21.jar mybatis-spring-1.1.1.jar druid-0.2.10.jar 集成myb ...
MySQL实验7存储过程_mysql的总结7--存储过程-阿里云开发者社区
1.定义:存储过程是一组为了完成某个特定功能而编写的SQL程序集. 2.优点: <1>.通过把处理封装在简单易用的单元中,简化复杂的操作. <2>.提高性能.使用存储过程比使用 ...
阿里云 mysql 太慢_MySQL很慢... 怎么破？？-阿里云开发者社区
老王:最近我的MySQL数据库很慢.... 很忧伤,这可肿么办? 帅萌:老王,老王你莫心慌,听我跟你唠~ MySQL性能有问题,先应该关注的是慢查询日志(slow log). MySQL性能慢,多半是 ...

mysql applier_MySQL推出Applier，可实时复制数据到Hadoop-阿里云开发者社区

mysql applier_MySQL推出Applier，可实时复制数据到Hadoop-阿里云开发者社区相关推荐

最新文章

热门文章