【一点分享】Mysql高级特性：Event定时任务，用作定时调度ETL也很香。

接上篇，ETL的存储过程已经实现，需要手动执行。本文将实现定时自动执行，用Mysql自带的Event定时触发器，仍是熟悉的配方，分三部分总结：理论、实战、总结。

1、Event定时触发器

1.1 增删改查

与存储过程、自定义函数非常相似，不再一一讲解，将有关sql呈现如下：

更详细说明，请查看官方文档：https://dev.mysql.com/doc/refman/8.0/en/sql-data-definition-statements.html

1.2 定时

2种定时方式，每隔多久执行与到固定时间点执行。

-- 每隔多久，every 数字时间单位 EVERY 5 SECOND -- every 还还与starts\ends组合，从什么时候开始，上面没有starts相当于立即开始 every 1 minute starts timestamp('时间') -- 每个月的一号凌晨 1 点执行 on schedule every 1 month starts date_add(date_add(date_sub(curdate(),interval day(curdate())-1 day),interval 1 month),interval 1 hour); -- 每个季度一号的凌晨1点执行 on schedule every 1 quarter starts date_add(date_add(date(concat(year(curdate()),'-',elt(quarter(curdate()),1,4,7,10),'-',1)),interval 1 quarter),interval 1 hour); -- AT 时间戳，用来完成单次的计划任务。

1.3 查看执行日志

后续在DBA的dashboard实现再补充。

2、实战

将昨天的报表ETL存储过程，定时在每天晚上2点执行。

发现昨天的一个bug，在调用p_se时的参数写死了，应该是动态传入存储过程的I_day和I_rt参数。

2.2 插曲

数据库时区为伦敦时间，调整为北京时间。临时调整下，持久调整需要去修改配置文件。

show variables like '%time_zone%'; set session time_zone = '+8:00'; show variables like '%time_zone%';

2.3 补跑重跑数据

补跑重跑数据是常见的问题，一个任务新建，历史的数据要补跑，或者之前任务有bug数据是错的，要重跑数据进行修复。

如果只有几个调用执行，量小，那就直接手动执行，或者没有规律的补跑重跑，也手动执行。
如果量多、或者是非常有规律的补跑（比如最近60天的日报），那就写循环脚本来执行。

3、总结

（1）结合Mysql的存储过程和定时调度，就实现了简单但能跑起来的一个ETL路径，对于新手和小团队而言，这是非常很方便的。小而美，MVP理念，值得大家借鉴。

（2）调度配置很方便，但n多个任务起来后，配置就很头疼，尤其是复杂的依赖关系。这就需要专门的调度工作，有现成开源的azkaban等方便使用，也可以自己写一个调度工具。

（3）文章建议按照专栏系列看，会循序渐进，是按照路径来的。已整理好，点击下方链接前往：

或许能用上：【一点分享】Mysql合集，基础入门、进阶升级、用作ETL等场景都适用。

若对您有帮助，请关注之前文章和后续文章。

【一点分享】Mysql高级特性：Event定时任务，用作定时调度ETL也很香。相关推荐

MySQL高级特性读书笔记
MySQL高级特性 1. 分区表对于用户来说,分区表是一个独立的逻辑表,但是底层由多个物理子表组成.实现分区的代码实际上是对一组底层表的句柄对象的封装以下场景分区表可以起到非常大的作用: 1. 表 ...
尚硅谷《MySQL高级特性篇》教程发布
MySQL底层如何组织设计数据怎么理解"索引即数据,数据即索引" 海量数据和高并发场景下如何设计主键索引下推.覆盖索引对优化有什么优势如何保证主从一致性 MVCC如何解决可重 ...
MySQL高级特性之分布式（XA）事务的介绍
文章目录分布式(XA) 事务 1.内部XA事务 2.外部XA事务这一部分是高性能MySQL(第3版)中第七章第11节内容:关于MySQL高级特性之分布式(XA)事务的介绍,(不感兴趣的可以忽略) ...
MySQL高级特性一：分区表
对用户来说,分区表时一个独立的罗技表,但是底层由多个无力字表组成.实现分区的代码实际上是对一组底层表的句柄对象的封装.对分区表的请求,都会通过句柄对象转化成对存储引擎的接口调用.所以分区对于SQL层来 ...
MySQL高级特性之分区表
对于用户而言,分区表是一个独立的逻辑表,但是在底层由多个物理子表组成.实现分区的代码实际上是对一组底层表的句柄对象的封装,对分区表的请求都会通过句柄对象转化成对存储引擎的接口调用意义 MySQL在创 ...
分享一个在线考试系统，练手项目用他很香
今日推荐推荐一款开源 Java 版的视频管理系统推荐3个快速开发平台前后端都有项目经验又有着落了 14个项目项目介绍学之思在线考试系统是一款 java + vue 的前后端分离的考试系统. ...
mysql 事务sqlserver_MYSQL高级特性 -- 事务处理_sqlserver
下面以两个银行账户之间的转账为例子进行演示. 要使用mysql中的事务处理,首先需要创建使用事务表类型(如BDB = Berkeley DB或InnoDB)的表. CREATE TABLE accou ...
MySQL数据库教程天花板，mysql安装到mysql高级，强|硬
MySQL数据库笔记第一部分 MySQL基础篇第01章数据库概述 1. 为什么要使用数据库持久化(persistence):把数据保存到可掉电式存储设备中以供之后使用.大多数情况下,特别是企业 ...
MySQL数据库教程天花板，mysql安装到mysql高级，强|硬宋红康版（自用不可外传）
文章目录 MySQL数据库笔记第一部分 MySQL基础篇第01章数据库概述 1. 为什么要使用数据库 2. 数据库与数据库管理系统 2.1 数据库的相关概念 3. RDBMS与非RDBMS 3. ...
MySQL数据库教程天花板，mysql安装到mysql高级，强|硬宋红康版
MySQL数据库教程天花板,mysql安装到mysql高级,强|硬宋红康版(自用不可外传) 文章目录 MySQL数据库笔记第一部分 MySQL基础篇第01章数据库概述 1. 为什么要使用数据库 ...

【一点分享】Mysql高级特性：Event定时任务，用作定时调度ETL也很香。

【一点分享】Mysql高级特性：Event定时任务，用作定时调度ETL也很香。相关推荐

最新文章

热门文章