ODPS 数据全量/增量同步方案

随着业务量增加，原采用的mysql 对大量业务数据的处理效率降低，公司采购的ODPS（MaxCompute）阿里数据处理平台，进行数据的处理。

一、源数据库 -> ODPS

全量同步，直接同步即可，这里主要介绍下增量过程，分为以下三步。

// 第一步、覆盖基表 插入非 变更/新增 的数据
INSERT OVERWRITE table tb_order_summary_odps
select * from middle_tb_order_summary_odps
where id not in (select id from trans_tb_order_summary_odps);// 第二步、插入基表 插入 变更/新增 的数据
insert into tb_order_summary_odps
select * from trans_tb_order_summary_odps;// 第三步、插入中间表，基表数据覆盖插入中间表
insert OVERWRITE table middle_tb_order_summary_odps
select * from tb_order_summary_odps;

二、ODPS -> 源数据库

手动全量数据同步
基本思想：将指定时间之前的数据与昨天数据汇总，作为最新的数据集，${bizdate} 获取指定日期。

INSERT OVERWRITE TABLE tb_order_summary
SELECT  *
FROM    tb_order_summary
WHERE   business_date > ${bizdate}
UNION ALL
SELECT *
from tb_order
WHERE
created_time <= ${bizdate}

定时增量同步前一天数据
基本思想：将昨天之前数据与昨天数据汇总，作为最新的数据集，运用 ${bdp.system.bizdate} 动态获取昨天。

INSERT OVERWRITE TABLE tb_order_summary
SELECT  *
FROM    tb_order_summary
WHERE   business_date != ${bdp.system.bizdate}
UNION ALL
SELECT *
FROM tb_order
WHERE
created_time = ${bdp.system.bizdate}

ODPS 数据全量/增量同步方案相关推荐

solr mysql增量导入_10.Solr4.10.3数据导入(DIH全量增量同步Mysql数据)
1.创建MySQL数据 create databasesolr;usesolr;DROP TABLE IF EXISTSstudent;CREATE TABLEstudent ( idchar(10) ...
mongodb监听oplog 全量+增量同步
一.前言前一个项目中,涉及到了一次数据迁移,这次迁移需要从mongodb迁移到另一个mongodb实例上,两个源的数据结构是不一样的.涉及到增量和全量数据迁移,整体迁移数据量在5亿左右.本篇即讲理论 ...
利用Canal全量/增量同步mysql数据至ES
Canal同步mysql数据至ES 1.更改Mysql配置 1.1 开启 Binlog 写入功能配置 binlog-format 为 ROW 模式,配置my.cnf [mysqld] log-bin ...
“全量增量” 与 “增量同步” 一文了解清楚【建议收藏】
大家在同步数据的时候都会接触到2个名词,"全量增量" 与 "增量同步" ,名字都长得差不多,但是意思和操作却不一样:比如部门领导给你方案,那我们要如何去选择其中 ...
mysqldump备份（全量+增量）
在日常运维工作中,对mysql数据库的备份是万分重要的,以防在数据库表丢失或损坏情况出现,可以及时恢复数据. 线上数据库备份场景: 每周日执行一次全量备份,然后每天下午1点执行MySQLdump增量备 ...
Elasticsearch和MySQL数据同步（logstash-input-jdbc）全量增量方式同步近千万数据
同步方案: 同步读写:最为简单的方式在将数据写到mysql时,同时将数据写到ES,实现数据的双写. 异步双写(MQ方式):MQ的性能基本比mysql高出一个数量级,所以性能可以得到显著的提高. 定时器 ...
基于Solr DIH实现MySQL表数据全量索引和增量索引
实现MySQL表数据全量索引和增量索引,基于Solr DIH组件实现起来比较简单,只需要重复使用Solr的DIH(Data Import Handler)组件,对data-config.xml进行简单 ...
solr mysql 增量索引_基于Solr DIH实现MySQL表数据全量索引和增量索引
实现MySQL表数据全量索引和增量索引,基于Solr DIH组件实现起来比较简单,只需要重复使用Solr的DIH(Data Import Handler)组件,对data-config.xml进行简单 ...
数据全量、增量、比较更新
[实验目的] 1.利用Kettle的"表输入","表输入出","JavaScript代码"组件,实现数据全量更新. 2.熟练掌握" ...

ODPS 数据全量/增量同步方案

一、源数据库 -> ODPS

二、ODPS -> 源数据库

ODPS 数据全量/增量同步方案相关推荐

最新文章

热门文章