阿里巴巴开源项目：分布式数据库同步系统otter(解决中美异地机房)
项目背景
阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，同时为了提升用户体验，整个机房的架构为双A，两边均可写，由此诞生了otter这样一个产品。
otter第一版本可追溯到04~05年，此次外部开源的版本为第4版，开发时间从2011年7月份一直持续到现在，目前阿里巴巴B2B内部的本地/异地机房的同步需求基本全上了otte4。
目前同步规模：
- 同步数据量6亿
- 文件同步1.5TB(2000w张图片)
- 涉及200+个数据库实例之间的同步
- 80+台机器的集群规模
项目介绍
名称：otter ['ɒtə(r)]
译意： 水獭，数据搬运工
语言： 纯java开发
定位： 基于数据库增量日志解析，准实时同步到本机房或跨机房的mysql/oracle数据库.
工作原理
原理描述：
1. 基于Canal开源产品，获取数据库增量日志数据。 什么是Canal, 请点击
2. 典型管理系统架构，manager(web管理)+node(工作节点)
a. manager运行时推送同步配置到node节点
b. node节点将同步状态反馈到manager上
3. 基于zookeeper，解决分布式状态调度的，允许多node节点之间协同工作.
什么是canal?
otter之前开源的一个子项目，开源链接地址：http://github.com/alibaba/canal
otter能解决什么？
1. 异构库同步
a. mysql -> mysql/oracle. (目前开源版本只支持mysql增量，目标库可以是mysql或者oracle，取决于canal的功能)
2. 单机房同步 (数据库之间RTT < 1ms)
a. 数据库版本升级
b. 数据表迁移
c. 异步二级索引
3. 跨机房同步 (比如阿里巴巴国际站就是杭州和美国机房的数据库同不，RTT > 200ms，亮点)
a. 机房容灾
4. 双向同步
a. 避免回环算法 (通用的解决方案，支持大部分关系型数据库)
b. 数据一致性算法 (保证双A机房模式下，数据保证最终一致性，亮点)
5. 文件同步
a. 站点镜像 (进行数据复制的同时，复制关联的图片，比如复制产品数据，同时复制产品图片).
单机房复制示意图：
说明：
a. 数据on-Fly，尽可能不落地，更快的进行数据同步. (开启node loadBalancer算法，如果Node节点S+ETL落在不同的Node上，数据会有个网络传输过程)
b. node节点可以有failover / loadBalancer.
跨机房复制示意图：
说明：
a. 数据涉及网络传输，S/E/T/L几个阶段会分散在2个或者更多Node节点上，多个Node之间通过zookeeper进行协同工作 (一般是Select和Extract在一个机房的Node，Transform/Load落在另一个机房的Node)
b. node节点可以有failover / loadBalancer. (每个机房的Node节点，都可以是集群，一台或者多台机器)
相关名词解释
otter核心model关系图
名词解释
- Pipeline：从源端到目标端的整个过程描述，主要由一些同步映射过程组成
- Channel：同步通道，单向同步中一个Pipeline组成，在双向同步中有两个Pipeline组成
- DateMediaPair：根据业务表定义映射关系，比如源表和目标表，字段映射，字段组等
- DateMedia : 抽象的数据介质概念，可以理解为数据表/mq队列定义
- DateMediaSource : 抽象的数据介质源信息，补充描述DateMedia
- ColumnPair : 定义字段映射关系
- ColumnGroup : 定义字段映射组
- Node : 处理同步过程的工作节点，对应一个jvm
otter的S/E/T/L stage阶段模型
说明：为了更好的支持系统的扩展性和灵活性，将整个同步流程抽象为Select/Extract/Transform/Load，这么4个阶段.
Select阶段: 为解决数据来源的差异性，比如接入canal获取增量数据，也可以接入其他系统获取其他数据等。
Extract/Transform/Load 阶段：类似于数据仓库的ETL模型，具体可为数据join，数据转化，数据Load的
相关实现介绍
- Otter调度模型
- Otter数据入库算法
- Otter双向回环控制
- Otter数据一致性
- Otter高可用性
- Otter扩展性
QuickStart
See the page for quick start: QuickStart.
AdminGuide
See the page for admin deploy guide : AdminGuide
阿里巴巴开源项目：分布式数据库同步系统otter(解决中美异地机房)相关推荐
- 001_阿里巴巴开源项目：分布式数据库同步系统otter(解决中美异地机房)
项目背景 阿里巴巴B2B公司,因为业务的特性,卖家主要集中在国内,买家主要集中在国外,所以衍生出了杭州和美国异地机房的需求,同时为了提升用户体验,整个机房的架构为双A,两边均可写,由此诞生了otter ...
- 分布式数据库同步系统之Otter
分布式数据库同步系统之Otter Otter概述 Otter安装及配置 Docker安装Otter 安装zookeeper 安装MySQL 创建源数据库 创建目标数据库 创建Otter配置数据库 安装 ...
- 一款低延迟的分布式数据库同步系统--databus
每次看到马路对面摩托罗拉的大牌子,都想起谷歌125亿美元收购摩托罗拉移动,后来又以29亿美元卖给联想的事情.谷歌所做的决策都比较考虑长远利益,在这串交易中,谷歌获得了摩托罗拉最有价值的几千项专利,稳健 ...
- 阿里巴巴开源的免费数据库工具Chat2DB
Chat2DB 是一款由阿里巴巴开源的免费数据库工具,它为开发人员提供了一个强大且易于使用的平台,用于存储和查询数据.与传统的数据库工具相比,Chat2DB 具有以下特点和优势: 多数据库支持:Cha ...
- Databus--低延迟的分布式数据库同步系统（Canal类似）
1.简介 Databus是一个低延迟.可靠的.支持事务的.保持一致性的分布式数据库同步系统.它提供可靠的数据捕获.流转和数据处理功能.Databus通过挖掘数据库日志的方式,将数据库变更实时.可靠的从 ...
- .NET平台开源项目速览(20)Newlife.Core中简单灵活的配置文件
如果用知乎,可以关注专栏:.NET开源项目 记得5年前开始拼命翻读X组件的源码,特别是XCode,但对Newlife.Core 的东西了解很少,最多只是会用用,而且用到的只是九牛一毛.里面好用的东西太 ...
- otter,阿里巴巴分布式数据库同步系统
微信公众号:大数据左右手 专注于大数据技术,人工智能和编程语言 个人既可码代码也可以码文字.欢迎转发与关注 otter官网介绍项目背景 otter文档地址 https://github.com/ali ...
- 开源的分布式数据库中间件系统Mycat和阿里巴巴Cobar的对比
mycat 不得不说的缘分 原创 2016年04月15日 15:48:17 27834 1,愕然回首,它在灯火阑珊处 关于mysql集群中间件,以前写在应用程序里面,由开发人员实现,在配置文件里面写多 ...
- otter：分布式数据库同步系统
一.otter介绍 阿里巴巴B2B公司,因为业务的特性,卖家主要集中在国内,买家主要集中在国外,所以衍生出了杭州和美国异地机房的需求,同时为了提升用户体验,整个机房的架构为双A,两边均可写,由此诞生了 ...
最新文章
- linux中默认安装php,Linux系统中Apache PHP MySQL的默认安装路径
- python穷举法搬砖_python 穷举法 算24点（史上最简短代码）-阿里云开发者社区
- quad8是matlab中调用那个,Matlab 数值积分
- 构建之法第二章读后感
- oracle高级复制管理里面,配置高级复制问题,请大家指点!
- Cordova iOS WKWebView 整改完美解决方案
- Vue修改mint-ui默认样式（默认风格）
- 关于servlet类，继承HttpServlet，但是无法导入HttpServlet包的原因和解决方法
- 未转变者3.16进不去服务器,未转变者3.16.0.1
- 2019小程序没必要做了_2019，小程序会更好吗？
- EMM并不繁琐 ZBOX一体机轻松完成部署管理
- Android 检查权限总是 PERMISSION_GRANTED
- web移动开发总结(二)
- 开源四轴飞行器CC3D的稳定模式和PID算法简介
- php连接数据库的表如何居中,在php中打印数据如何居中显示
- Linux中编写Shell脚本
- 某某桥的检测和加固设计
- Error: Request failed with status code 429
- node js批量导出PDF 导出压缩为zip 拆分设计 文件压缩 批量导出设计
- 新浪微博技术架构分析-微博首席架构师杨卫华