java连接dataworks_DataWorks2.0的“业务流程”与1.0的“工作流”的对比
DatwWorks终于升级2.0了,心情万分激动之余,又有一丝担忧。因为,没法再创建新的旧版工作流了。。。
新版抛弃了“工作流”这个概念,引入了“业务流程”和“解决方案”两个新的概念。于是,作为团队Leader,我花了很大的精力去钻研这两个概念到底该如何应用在我的实际业务中。
1.目的
能尽快应用DataWorks2.0的诸多给力新功能;
尽快解决掉由于无法新建旧版工作流引起的不便;
2.旧版工作流划分
任务节点一般分为以下几类:
源数据同步节点
单业务基础数据层统计节点
跨业务基础数据层统计节点
结果数据层统计节点
结果数据同步节点
2.1 划分维度
旧版本的工作流,主要包含以下几个维度:
2.1.1 源数据库
数据源是在哪个数据库中
包括:源数据同步节点
2.1.2 产品线
源数据属于哪个产品线
包括:源数据同步节点 + 单业务基础数据层统计节点
2.1.3 目标系统
结果数据是给哪个系统提供的(后台系统、BI、DataV、……)
包括:结果数据层统计节点 + 结果数据同步节点
2.1.4 业务模块
结果数据属于哪个业务模块(订单+投诉、订单+保险、商家+订单、……)
包括:跨业务基础数据层统计节点 + 结果数据层统计节点 + 结果数据同步节点
2.1.5 运行周期
每日、每周、每月运行
包括:所有节点
2.1.6 输入/统计/输出
包含的节点的类型,是属于“源数据迁入”、“统计任务”还是“结果数据迁出”
包括:所有节点
2.2 其他划分原则
尽量减少每个工作流所依赖的上游工作流的个数;
能用一句话给整个工作流起个名字;
每个工作流内的节点数量不超过30个;
3. 旧版工作流与新版业务流程的区别
3.1 运行周期
旧版工作流:
整个工作流(包含多个内部节点),对应一个运行周期
新版业务流程:
每个节点,对应一个运行周期
3.2 依赖关系
旧版工作流:
工作流依赖工作流;
内部节点依赖内部节点;
新版业务流程:
业务流程之间,无依赖关系;
节点依赖节点,可以跨业务流程依赖,可以不同运行周期的任务间依赖。
3.3 节点的分类
旧版工作流:
无分类,只能通过内部节点的命名来区分
新版业务流程:
可以自动按节点类型分类(SQL节点、数据同步节点、机器学习节点、……)
3.4 工作流(业务流程)的分类
旧版工作流:
无分类,只能通过工作流的命名来区分
新版业务流程:
可以通过“解决方案”功能来分类(类似于给每个业务流程打标签),“业务流程”与“解决方案”是“多对多”的关系。
3.5 提交范围
旧版工作流:
整个工作流(包含多个内部节点)一起提交
新版业务流程:
单个任务节点提交。也支持业务流程中多个节点批量提交的方式。
3.6 重命名
旧版工作流:
工作流不支持重命名;
内部节点不支持重命名;
新版业务流程:
业务流程支持重命名;
节点支持重命名;
3.7 添加文件夹的位置
旧版工作流:
多级文件夹→工作流→内部节点
新版业务流程:
业务流程→数据集成/数据开发→多级文件夹→节点
4. 业务流程划分原则
最后,关于我的业务流程的划分原则,总结如下:
业务流程是完成一个最小业务的;
业务流程的数量可以稍微多一点儿,可以通过解决方案去查找;
每个业务流程里的节点最好不要太多,每个业务流程里能直观展示的就只有那么多;
希望大家也能早日用上DataWorks2.0的诸多给力功能!不用继续在旧版工作流中缝缝补补。
作者: neo.wang
原文链接
本文为云栖社区原创内容,未经允许不得转载。
java连接dataworks_DataWorks2.0的“业务流程”与1.0的“工作流”的对比相关推荐
- java 连接kafka之坑Connection to node 0 could not be established. Broker may not be available
最近学习kafka java api遇到一个特别坑的问题:<Connection to node 0 could not be established. Broker may not be av ...
- DataWorks2.0的“业务流程”与1.0的“工作流”的对比...
DatwWorks终于升级2.0了,心情万分激动之余,又有一丝担忧.因为,没法再创建新的旧版工作流了... 新版抛弃了"工作流"这个概念,引入了"业务流程"和& ...
- java连接MySQL几种方法_Java连接MySQL数据库三种方法
好久没有更新博客了!今天利用周目时学习了一下数据库mysql.介绍一下数据库的三种连接方式! 开发工具:Myeclipse MySQL5.6 MySQL连接驱动:mysql-connector-jav ...
- java 连接mysql 8.0,java连接mysql 8.0的问题
mysql 8.0 是现在较新的版本,所以很多项目都开始用户mysql 8,在使用java连接mysql 8的时候,很多人想当然觉得需要使用新的连接驱动程序,比如mysql-connector-jav ...
- Java连接SQL2005及SQL Server JDBC Driver 2.0中sqljdbc.jar和sqljdbc4.jar的区别
第一.Java连接SQL2005 一.JAVA连接SQL的语句 JAVA连接SQL2000语句为: Class.forName("sun.jdbc.odbc.JdbcOdbcDriver&q ...
- Java连接MySQL8.0以上版本数据库方式
Java连接MySQL8.0以上版本数据库方式 MySQL 8.0 开始数据库相比常用的 5.X 版本发生了比较大的变化,我们在连接数据库的过程中许多地方也要发生一些变化. 总结一下,想要利用 mys ...
- Java连接MySQL8.0以上版本
Java连接MySQL8.0以上版本 MySQL和JDBC版本 连接步骤与注意事项 整个流程的代码 MySQL和JDBC版本 MySQL8.0 mysql-connector-java-8.0.13. ...
- Java连接redshift数据库_配置 JDBC 驱动程序版本 1.0 连接 - Amazon Redshift
本文属于机器翻译版本.若本译文内容与英语原文存在差异,则一律以英文原文为准. 配置 JDBC 驱动程序版本 1.0 连接 您可以使用 JDBC 驱动程序版本 1.0 连接从许多第三方 SQL 客户端工 ...
- java连接mongodb_java连接mongodb源码解读
用mongdb也大半年了,一直是业务上的逻辑实现了就ok.然而这样并不能进步--因此今天查了查java连接mongodb驱动的源码,搜到的各种信息整合一下,方便以后深入的使用. 先贴连接数据库代码Li ...
最新文章
- R语言plotly可视化:plotly可视化箱图、相同数据集对比使用不同分位数算法的可视化差异(quartilemethod参数、linear、inclusive、exclusive)
- 学习笔记 线程异步请求过程
- 米家扫拖一体机器人重置键_全面升级——米家扫拖机器人1T体验
- Job for virtualbox.service failed because the control process exited with error
- 铺砖问题JAVA_java彩色瓷砖编程题分析
- MogDB数据库高可用及负载均衡JDBC参数测试
- dxf文件预览打开编辑相关控件推荐
- Django视图系统
- powershell cs上线_BasUSB实现后台静默执行上线CobaltStrike
- 设置 phpstorm 左侧文件自动定位到当前编辑的文件
- python中文语料分词处理,按字或者词cut_sentence
- 鬼谷八荒steam修改器|鬼谷八荒多功能修改器
- 王阳明的心学精髓是什么?
- 南京大学生租房补贴申领必看
- 信息化和信息系统(3)
- 从零开始开发微信小程序(四):微信小程序绑定系统账号并授权登录之后台端...
- 为何晶振并联一个1MΩ电阻?晶振低温不起振如何解决?
- 华中科技大学计算机学院培养计划,华中科技大学计算机专业培养计划
- web编程期中大作业
- 大连有没有培训Oracle,大连诺达ORACLE甲骨文 OCP课程培训
热门文章
- ERROR 2003 (HY000):Can‘t connect to MySQL server on ‘bj-xxx-xxx-xxx.sql.tencentcdb.com‘(10060)
- 你也深受脂肪团的困扰吗?快来看看吧
- QCC304x系列开发教程(实战篇) 之5.3 QCC3040之QACT用户指南
- 产品01-产品经理初步认知
- 用友荣膺2022年度ICT产业生态服务最佳企业奖
- 《人类简史:从动物到上帝》《中西…
- 循迹智能小车的组装过程
- 使用线性回归对身高体重数据集分析
- Cleave.js – 自动格式化表单输入框的文本内容
- 模拟电路65(串联型稳压电路1)