【国产】大数据自动化运维调度工具TASKCTL流程触发方式
关于TASKCTL
TASKCTL是塔斯克信息技术有限公司，专为数据仓库批量调度自动化打造的一款【国产免费】企业级调度管理监控平台；该平台拥有完善的体系、全面的功能、简易的操作和超前的设计风格，使产品结合 ETL 调度技术领域的特点，构建了一套直观易用的 ETL 调度设计、监控维护、管理平台。可为从业人员提供简便、统一的方法来管理各类复杂作业的调度和监控管理。
提示：去公众号【TASKCTL】回复 “软件” 可直接获取官方授权
应用场景
TASKCTL 通过将企业内部复杂的作业调度依赖关系，进行灵活的统一编排和管理，带来前所未有的简便性。通过采用全内存计算，基于全事件技术驱动，可简单、快速地对作业进行定义、编排和执行，并生成优化调度执行建议，高效地执行作业调度；主要实现对 ETL 作业、存储过程、SQL 语句、shell 脚本、DS 作业等多类型作业的自动化编排和调度，既可用于帮助用户轻松构建自动化、规范化批量调度管理平台，也可用于支撑大数据时代下数据流向的调度管理自动化等，形成专门的解决方案。
流程不同批次的触发
作为调度，流程的触发是非常普遍的应用场景；而流程触发最常用的是时间定时触发以及文件到达触发时间触发
代码示例如下：
在流程开始位置，添加了一个 nulljob 空作业，并设置了时间运行条件。只要当时间运行条件满足后，才能执行后续作业，从而达到定时触发的目的。
在实际应用中，对于定时触发流程我们一般需要增加开始运行时间参数 $(startdatetime)，当流程跑完一个批次后，让这个参数值加 1 天，这样它就不会一直小于系统当前时间，以保证流程每天只能运行一次。
文件到达触发
文件到达触发是指相关数据文件到达后，指定流程就开始调度运行。平台自身提供了 filewatch 文件到达作业类型，通过简单的配置它的 para 属性（其值为文件路径），就能快速方便的监控文件是否到达。
以下是文件达到触发例子：
在流程文件到达触发实际应用中，文件到达一般是相对业务日期而言，即哪个业务日期的文件到达，因此在判断文件是否到达程序中，一般需要一个业务日期参数。如上图所示 $(workdate)参数的运用。
流程翻牌处理
流程翻牌是 ETL 流程中一个常用概念，简单地说，流程翻牌表示一个批次流程结束，同时可能会修改一些与业务相关的信息，比如业务日期，处理一个批次后，需要将日期修改为下一天。
代码示例如下：
与开始触发类似，平台自身不提供流程翻牌机制。流程的核心只是单纯的对作业的调度管理。这种具有一定业务特征的过程都留给客户通过作业自行完成。
在上述例子中，在流程最后，我们通过 modivarv 作业修改时间变量 $(startdatetime) 增加为下一天来完成翻牌处理。关于“addday”及更多函数的运用，可参考 TASKCTL 安装时自带的的范例（“所有内置函数的使用”）。
流程多模块设计
流程多模块设计是 TASKCTL 流程设计的核心技术之一，也是最为广泛的应用。在本节点，我们主要从一个实际 ETL 应用需求出发，并通过多模块技术来设计流程。
一个 ETL 流程需求示例 ：
流程实现
对以上流程需求，我们采用一个多模块方式实现，主要是将需求中每部分通过一个模块或多个模块实现。
实现流程如下图所示：
以上各个子模块由项目相关成员分别完成，然后在流程主模块中分别定义 include 节点引用相关模块即可。
主模块代码设计如下：
【国产】大数据自动化运维调度工具TASKCTL流程触发方式相关推荐
- 部分大数据平台运维题及答案
大数据平台运维 HDFS题: 1.在HDFS文件系统的根目录下创建递归目录"1daoyun/file",将附件中的BigDataSkills.txt文件,上传到1daoyun/fi ...
- 干货 | 网易大数据平台运维实战
本文整理自SACC2021中国系统架构师大会,是网易金川老师视频直播的文字版本,他分享的主题是"网易大数据平台运维实战" 各位SACC观众,大家好,感谢各位参加本次智能运维实践会场 ...
- 数据分析真题日刷 | 商汤科技2018校招C++/算法开发/大数据/后端/运维/测试/数据挖掘开发工程师笔试第二场
断了大半个月没有刷题,进入「数据分析真题日刷」系列第13篇 . 今日真题 商汤科技2018校招C++/算法开发/大数据/后端/运维/测试/数据挖掘开发工程师笔试第二场 (来源:牛客网) 题型 客观题: ...
- 国家网络安全工程师、大数据网络运维工程师就业前景好
国家网络安全工程师.大数据网络运维工程师就业前景怎么样?相信这是很多年轻人的担忧之处,有的人甚至会想到自己辛苦学习最后找不到好的就业单位将会是一种损失.接下来小编就带您探究这两个行业的就业前景究竟如何 ...
- 大数据常见运维问题汇总
大数据常见运维问题汇总 其他安装问题: 1.IDEA安装与配置 IntelliJ IDEA使用教程 (总目录篇)_请叫我大师兄-CSDN博客_intellijidea使用教程 2.IntelliJ I ...
- “1+X“大数据平台运维职业技能等级证书（中级）模拟题-Storm组件部署
目录 一.前置说明 二.Storm相关知识(必看,仅应对考试) 三.Storm部署 3.1.Zookeeper集群安装并启动 3.2.解压Storm,并配置conf/storm.yaml 3.3.启动 ...
- 电商大数据平台运维案例
技术栈 数据流向 平台规模 差异化,隔离化 YARN: https://baike.baidu.com/item/yarn/16075826?fr=aladdin 今天先到这儿,希望对您在系统架构设计 ...
- EMR重磅发布智能运维诊断系统(EMR Doctor)——开源大数据平台运维利器
大数据运维的挑战-如何保证集群稳定与运行效率 企业级大数据集群通常拥有海量的数据存储.日常运算成干上万的计算任务,需要满足各类上层业务的计算需求.对于这类集群的运维往往充满着挑战:海量的数据.庞杂的组 ...
- EMR 重磅发布智能运维诊断系统(EMR Doctor)——开源大数据平台运维利器
大数据运维的挑战-如何保证集群稳定与运行效率 企业级大数据集群通常拥有海量的数据存储.日常运算成干上万的计算任务,需要满足各类上层业务的计算需求.对于这类集群的运维往往充满着挑战:海量的数据.庞杂的组 ...
最新文章
- 尹伊：我眼中的Datawhale
- 利用宝塔 开启apache tomcat ssl 失败的解决方法
- 多租户系统技术实现mysql_SaaS “可配置”和“多租户”架构的几种技术实现方式...
- 关于MySQL的SLEEP(N)函数
- 全年月平均工作时间和工资折算办法
- 1111 Online Map (30 分)【难度: 一般 / 知识点: Dijkstra最短路】
- leetcode 877. Stone Game | 877. 石子游戏（递归/动态规划/数学解法）
- 记录一下免费域名和空间
- java set的作用,Java的自学之路-构造方法 的作用以及与set方法的区别
- 安卓(Android)+苹果(Ios)仿微信、陌陌 移动社交APP系统源码,手机IM聊天软件源码,企业即时通讯APP程序源码...
- linux运行火车头采集,网站抓取精灵火车采集器如何定时自动运行？
- 使用u盘+iso装纯净系统的基本步骤。
- PHP输出星座,php 通过日期推算星座的方法
- 【STC单片机学习】第二课：单片机是什么东西
- 64位系统可以装python32位吗_Python - pyinstaller在64位系统下打包32位程序
- java代码比较数据_比对两个数据库的差异:Java篇
- TreeMap集合怎样依照Value进行排序
- 自行车小组问卷调查报告
- 狂飙突进的幻想乡 - 最短路 - 辛普森积分
- 机器人是如何实现控制的，它的控制器有哪些组成？