Blink开发快速入门

概述

通过安全监控作业案例了解实时计算Flink版作业开发流程。

实时安全监控案例介绍

实时监控报警作为保障数据安全的重要环节，受到越来越多的关注。为了保证同时满足数据的正确性和实效性，实时计算Flink版将流式数据源表和存放白名单的维度表进行实时JOIN，识别源表中数据对应的地址是否存在于白名单中，采取过滤等措施。

安全监控业务架构图

DataHub源表结构

字段名	类型	注释
name	varchar	名称
place	varchar	地址

RDS维表结构

字段名	类型	注释
place	varchar	白名单地址

RDS结果表结构

字段名	类型	注释
name	varchar	过滤后的名称
place	varchar	地址

作业操作流程

准备工作

开通服务和创建项目
搭建上下游存储
按步骤开发作业。

搭建上下游存储

搭建数据源表存储

创建数据源表存储

登录DataHub控制台。
在项目管理页面的顶部，选择项目区域。
单击页面右上角的创建Project。
在创建DataHub的Project窗口中，输入项目（Project）参数。
在项目列表，目标项目的操作列下，单击查看。
单击右上角的创建Topic。
填写Topic参数信息。

说明 DataHub中的Topic类似于数据库中的表。

单击确认。

输入数据源表测试数据

单击左侧导航栏中的数据采集。
单击文件上传。
在DataHub Project列表中，选择目标Topic，本示例为datahub_ipplace。
单击选择文件区域中的选择要上传的文件，选择测试数据。
单击点击开始上传文件。

搭建数据结果表存储

创建数据结果表存储

在您创建的数据库下，创建rds_ipplace结果表，表格信息如下：

列名	类型	长度	主键
name	varchar	32	是
place	varchar	32	否

搭建数据维表存储

创建数据维表存储

在您创建的数据库下，创建rds_dim维表。

列名	类型	长度	主键
place	varchar	32	是

输入维表测试数据

在SQL Console中输入INSERT INTO rds_dim(place) values ('beijing');。

数据开发

创建作业

登录实时计算控制台。
在页面顶部，单击开发。
单击新建作业。

在新建作业页面，输入作业配置信息。

作业参数	说明
文件名称	作业的名称。(在当前项目中需保持唯一)
作业类型	独享模式：支持FLINK_STREAM/DATASTREAM和FLINK_STREAM/SQL作业类型。
存储位置	指定该作业的代码文件所属的文件夹。您还可以在现有文件夹右侧，单击图标，新建子文件夹。

单击确定。

引用数据存储

注册引用源表数据
- 在开发页面的数据存储页签，双击DataHub 数据存储。
- 双击目标数据库名称。
- 双击datahub_ipplace 。
- 在数据表详情区域，单击作为输入表引用。
注册引用维表数据
- 在开发页面的数据存储页签，双击RDS数据存储。
- 双击目标数据库名称。
- 双击rds_dim 。
- 在数据表详情区域，单击作为维表引用。
注册引用结果表数据
- 在开发页面的数据存储页签，双击RDS数据存储。
- 双击目标数据库名称。
- 双击rds_ipplace 。
- 在数据表详情区域，单击作为结果表引用。

编写测试SQL

完成数据存储引用后，在作业编辑页面输入如下SQL代码，完成作业的开发。

insert into rds_ipplace
select t.`name`, w.place
from datahub_ipplace as t
join rds_dim for system_time as of proctime() as w
on t.place = w.place;

作业调试

完成作业开发后，可进行本地调试。

作业上线

上线作业操作将您的改动提交到数据运维中。作业上线步骤如下：

登录实时计算控制台。
单击页面顶部的开发。
在开发页面左侧的作业开发页签中，双击目标作业。
单击作业编辑页面顶部的上线。
在上线新版本向导中，完成上线操作。

注意选择对应的资源配置方式。第1次启动建议使用系统默认配置。

完成作业上线后，您可在生产环境中进行作业启动等生产运维工作。

生产运维

作业启动步骤

登录实时计算控制台。
单击页面顶部的运维。
在运维，单击目标作业操作列下的启动。
在启动作业页面，单击指定数据读取数据时间（即指定启动位点）文本框。

指定读取数据时间（启动位点），单击确定，完成作业启动。

说明启动位点表示从数据源表中读取数据的时间点：

选择当前时间：表示从当前时间开始读取数据。

选择历史时间：表示从历史时间点开始读取数据，通常用于回追历史数据。

阿里云Blink快速入门相关推荐

阿里云RDS快速入门
快速入门流程图若您初次使用阿里云RDS,请先了解阿里云RDS使用限制. RDS MySQL的使用限制详情如下表所示. 约束项使用约束实例参数大部分实例参数可以使用控制台或API进行修改,同时出 ...
阿里云数据库快速搭建疫情分析系统最佳实践
简介:疫情降临,疫情态势分析和防控任务迫在眉睫,如果快速搭建高效的疫情态势分析系统是众多部门和单位的难题,阿里云RDS PG+Ganos解决方案可在极短时间内完成分析系统搭建,有效助力疫情防控. 直达 ...
****阿里云使用+快速运维总结(不断更新)
Q 如何用阿里云实现快速运维 A 可以利用阿里云的磁盘回滚来实现,比如前几天修改了代码,今天发现代码可能有问题,就可以恢复到修改代码之前来实现快速运维不用再手工备份 Q: 阿里云主机如何卸载主机宝, ...
阿里云商标注册快速上手笔记（新手图文教程）
阿里云商标注册图文教程快速上手笔记,本文以阿里云商标智能注册申请为例,商标智能注册申请需要用户手动填写商标类型.商标名称.商标图样.商标说明及商标分类表选择等操作,流程较为复杂,TM83商标网来详细说 ...
秒懂边缘云丨快速入门边缘云
简介:"秒懂边缘云"是阿里云开发者社区 X 阿里云边缘云团队面向企业及个人开发者联合打造系列直播,围绕边缘云的行业发展趋势.产品定义.应用场景,并结合阿里云边缘云深入浅出讲解,让广 ...
阿里云服务器快速购买、自定义购买、通过活动购买图文教程
阿里云是国内最知名的云服务器商,凭借着稳定,技术可靠和安全方面的优势成为了国内用户购买云服务器的首选服务商.购买阿里云服务器有快速购买.自定义购买和活动购买三种方式,下面是这三种购买方式的图文教程. ...
阿里天池比赛快速入门
[这里只讲快速入门--即破题,正负样本不平衡.特征数量等问题就自己多看论文或者其他资料吧~~如果还有数据挖掘相关基础知识不了解的,建议看看<数据挖掘导论>] [以下是理解错误案例]:错误的 ...
阿里云OSS从入门到精通
本期我们推出的产品是被客户广泛使用的对象存储产品--OSS.后续会通过4个章节逐步介绍该产品,涵盖产品概念.产品架构.运维工具及运维常见问题等内容. 图1:SRE学堂课程规划 1 OSS是什么说到O ...
阿里云安装git_阿里云服务器快速建网站_安装BT宝塔面板和wordpress
简介买了阿里云云服务器后,打算来折腾一下服务器.服务器都有哪些用途? 大概列一下常用的方法: 建网站.博客.就是这篇文章所说的内容.为甚么要自己建立博客?因为博客在自己手上总是比较踏实.像社交网站兴 ...
即插即用，基于阿里云Ganos快速构建云上开源GIS方案
对于轻量级GIS应用,选择具备时空能力的云上数据库再搭配开源GIS软件,能够快速构建稳定.廉价.实用的GIS解决方案.Ganos是阿里云自研时空基础设施(PaaS层)的核心引擎,该引擎整合了云上异构计 ...

阿里云Blink快速入门