【Azure 架构师学习笔记】-Azure Data Factory (4)-触发器详解-事件触发器
本文属于【Azure 架构师学习笔记】系列。
本文属于【Azure Data Factory】系列。
接上文【Azure 架构师学习笔记】-Azure Data Factory (3)-触发器详解-翻转窗口
前言
事件触发指的是存储事件,所以在新版的ADF 中,已经明确了是“存储事件”, 当对blob进行创建,删除时,就会触发事件。和“翻转窗口”有点不同的是,翻转窗口是一对一的触发,事件触发时多对多的关系,一个事件可以触发多个pipeline。
事件可以只选一个,也可以全选两个。本文使用【已创建Blob】来演示,简单来说就是上传一个文件(blob), 使触发器触发这个事件,并把文件从我个人storage account的“logicapp / source” 下搬到“dest / dest”。
配置步骤
新建触发器
如下图所示, 可以指定Blob路径的开头或结尾,作为演示,尽量保持简单。注意选择需要监控的“容器名”, 这里为“logicapp”:
选择之后会显示下面的预览,不过接下来会清空这个容器以便更准确地演示:
点击发布pipeline之后,我发现报了以下错误,如果首次使用,因为没有注册这个resource provider(事件触发器需要EventGrid resource provider),就要进行注册,参考这篇文字:Subscribe to events through portal
注册过后,可以正常发布。到管理页检查这个触发器是否成功创建并启用:
触发
因为这里选择了对新建(上传)的blob进行触发,下面是触发前源和目标的情况:
上传一个文件之后,再等十几秒刷新,可以看到文件已经自动同步到目标文件夹:
检查运行情况
在达到我们目的之后,接下来检查运行情况:
忽略前几次调试带来的失败,可以看到触发器和pipeline都成功执行,达到了我们预期的结果。
小结
事件触发对文件的ETL 操作非常有用,可以通过对“新文件到达”或者“文件被删除、归档”等需求进行自动化处理。下面是官网中的操作流程图:
对于另外一个自定义事件触发,相对深入,暂时不过多研究,因为目前本人又有新任务需要去做研究,所以关于ADF 的触发前先到处为止。
【Azure 架构师学习笔记】-Azure Data Factory (4)-触发器详解-事件触发器相关推荐
- 系统架构师学习笔记_第六章(下)_连载
系统架构师学习笔记_第六章(下)_连载 6.3 基于 UML 的软件开发过程 6.3.1 开发过程概述 UML 是独立于软件开发过程的,能够在几乎任何一种软件开发过程中使用.迭代的渐进式软件开发过程 ...
- 【相机标定与三维重建原理及实现】学习笔记1——相机模型数学推导详解
目录 前言 一.小孔成像模型 二.坐标系的变换 1.世界坐标系到相机坐标系的变换(刚体变换)[xw^→xc^\boldsymbol {\hat{x_{w}}}\rightarrow \boldsymb ...
- 架构师学习笔记(持续更新)
1.此博客所有内容均出自于咕泡学院架构师第三期课程. 2.此博客整理了我所学习的课程的所有笔记链接. 3.此博客会持续更新新的博客链接,直到课程学习完. 4.此博客仅供参考,仅作为学习使用. 设计模式 ...
- 字节跳动移动架构师学习笔记,Android篇
导语 你想做安卓开发,怎么系统学习?你只需要看完这一篇就够了!!为什么只看这一篇就够了?现在CSDN.知乎.掘金.GitHub上各路大佬层出不穷,他们深耕Android开发多年,总结出满满的学习干货. ...
- 前沪江高级架构师学习笔记分享:分布式框架设计与实现
1.分布式服务框架设计 分布式服务框架一般可以分为以下几个部分, (1)RPC基础层: 包括底层通信框架,如NIO框架.通信协议,序列化和反序列化协议, 以及在这几部分上的封装,屏蔽底层通信细节和序列 ...
- 5214页PDF的进阶架构师学习笔记,阿里巴巴内部Jetpack宝典意外流出
背景 在深度使用 Flutter 开发过程中,我们遇到了业务代码耦合严重,代码可维护性糟糕,如入泥泞.我们需要一个统一的应用框架来摆脱当下的开发困境,而这也是 Flutter 领域空缺的一块处女地. ...
- 31道Android面试题,字节跳动移动架构师学习笔记,大厂直通车!
关于Android的近况 大家都知道,今年移动开发不那么火热了,完全没有了前两年Android开发那种火热的势头,如此同时,AI热火朝天,很多言论都说Android不行了.其实不光是Android,i ...
- java架构师学习笔记
java架构师需要做六个方面的工作. 1,需求整理分析 首先,第一手的信息损失最少,架构师能够更好的把握需求:其次,分析人员在与客户交流时,往往不会深入挖掘需求,因为有很多隐藏的需求客户自己都不见得意 ...
- 系统架构师学习笔记_第十四章_连载
第十四章 基于ODP的架构师实践 14.1 基于ODP的架构开发过程 系统架构 反映了功能在系统系统构件中的 分布.基础设施相关技术.架构设计模式 等,它包含了架构的 原则 和 方法.构件关系 与 ...
最新文章
- 剑指Offer_编程题_22
- linux脚本数字加,linux-在bash脚本中添加数字表示“未找到”
- Crontab作业时间设置
- python工资一般多少大专学历-这个面试官真霸气 不收大专程序员
- 谁说80后的人不负责任!
- vue css下载字体并引入使用
- oracle sql格式化 补零,sql语句格式化数字(前面补0)、替换字符串
- 解读 PackageManager.resolveActivity
- 完结!视频课程:CMOS模拟集成电路设计
- 初级、中级和高级开发人员之间有什么区别?
- 用html5画卡通人物源代码,用canvas画一个卡通人物!!
- Kubernetes PV与PVC
- PHP合并两张(多张)图片
- RGB图像-像素、分辨率、相关概念
- 【整理】EFI/UEFI BIOS 入门 : All For Beginners
- 6款MacOS系统性能监控优化工具介绍
- MYSQL- DQL
- ★简单明确( ̄︶ ̄)↗——百度网盘秒传链接教程(使用火狐浏览器)
- replace() 和 replaceAll()区别
- 云计算在未来生活中的霸主地位逐渐体现!