MaxCompute(原ODPS)是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用,支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外,也致力于提升SQL语言的用户体验和表达能力,提高广大ODPS开发者的生产力。

MaxCompute基于ODPS2.0新一代的SQL引擎,显著提升了SQL语言编译过程的易用性与语言的表达能力。我们在此推出MaxCompute(ODPS2.0)重装上阵系列文章

第一弹 - 善用MaxCompute编译器的错误和警告
第二弹 - 新的基本数据类型与内建函数
第三弹 - 复杂类型
第四弹 - CTE,VALUES,SEMIJOIN
第五弹 - SELECT TRANSFORM
第六弹 - User Defined Type
第七弹 - Grouping Set, Cube and Rollup
第八弹 - 动态类型函数

第八弹中提到了参数化视图,本篇就向您介绍MaxCompute 脚本模式和参数化视图。

  • 场景1
    项目有个业务处理逻辑很复杂,需要读多个表,某些表之间需要join,得出结果后再join,且要从不同的运算阶段输出多个表,即使用CTE也无法表达,只好将此业务逻辑拆分为多个作业,按顺序提交,如此一来使得作业又复杂性能也不好。
  • 场景2
    当前Project有个数据表需要分享给多个团队使用,考虑安全性做成了视图, 视图是通过一个算法模式实现。其他团队发现此算法挺好也想用,但是底层访问的数据表不一样,一些模式识别的参数也不一样,没办法只好再做一个新的视图提供。若后续发现原来的视图有bug,那么只能一个个的修复。

MaxCompute 提供的脚本模式与参数化视图,基本解决了上述场景中的问题。

脚本模式

此文中采用MaxCompute Studio作展示,首先,安装MaxCompute Studio,导入测试MaxCompute项目,创建工程,建立一个新的MaxCompute脚本文件, 如下

注意,要选取MaxCompute Studio的脚本模式。这样编译器就会将整个文件作为一个整体编译,而不是一个一个语句的编译,提交的时候,也是整体提交。

观察此脚本,可以看到其从多个表src, src1, src2读取数据,中间可以做任意的filter, union, join等操作,最后输出到多个表,dest和dest1中。多个语句以@开始的表变量连接。编译后提交脚本运行,可以通过MaxCompute Studio的作业试图察看执行计划,如下:

右键点击图中任意task,弹出菜单点击“expand all”,可以在一个视图中看到执行计划所有operator及其相互关系,如下:

可以看到虽然有多个语句,但是执行计划是互相连通的一个DAG。这样的执行计划,用传统的SQL语句,不管是CTE还是multi INSERT,都无法生成。一个执行计划可以保证一次排队,一次执行,充分利用了MaxCompute的资源。且书写起来也更自然,只需要按照业务逻辑,用类似于普通编程语言的方式书写,不用分心考虑如何组织语句,比如使用CTE和MULTI INSERT等,来优化性能。

同时,MaxCompute的优化器,比起多个语句分别执行,在脚本模式下能够看到更完整的执行计划,也就可以有更多的优化机会,生成全局最优的物理执行计划,提高性能。

脚本模式也支持SET语句和部分DDL语句。例如:

一个脚本的完整形式是先SET语句,然后DDL语句,最后DML语句。每个部分都可以有0到多个语句,但是不同类型的语句不能交错。

需要注意的是,在脚本模式下,如果一个表先被写,又被读,会报告错误,避免混淆。例如以下语句会报错

insert overwrite table src2 select * from src where key > 0;
@a := select * from src2;
select * from @a;

建议您在书写的时候,避免先写后读,例如以上脚本可以修改为:

@a := select * from src where key > 0;
insert overwrite table src2 select * from @a;
select * from @a;

这样就可以打印出会写入src2中的内容了。

脚本模式下目前还有一些限制

  • 一个脚本,目前最多支持一个屏显语句,否则会报告错误。不建议在脚本中执行屏幕显示的SELECT语句。
  • 一个脚本,目前最多支持一个CREATE TABLE AS语句并且必须是最后一句。我们推荐您将建表语句与INSERT语句分开写,如上面提到的DDL和DML混合的脚本。

通过MaxCompute CMD使用脚本模式

脚本模式是一种新的模式,如果使用MaxCompute CMD来提交脚本,需要使用0.27以上的版本。建议您下载安装最新版本。安装后,请使用新的 -s 参数来提交 。

如编辑脚本模式的源码myscript.sql文件,调用odpscmd命令执行如下。

odpscmd -s myscript.mysql;

说明 -s 为odpscmd的命令行选项,类似于-f、-e,而非交互环境中的命令。odpscmd的交互环境中暂不支持脚本模式与表变量。

如果希望传递一些setting,但是又不想写在脚本里面,可以按照如下的方,使用-e参数来单独传递setting

odpscmd -e 'set odps.sql.setting1=a;odps.sql.setting2=b='-s myscript.sql

通过DataWorks使用脚本模式

在DataWorks中可以建立脚本模式的节点ODPS Script,如下图所示。

在此节点中进行脚本模式编辑,编辑完成后单击工具栏的运行按钮,提交脚本到MaxCompute执行。从输出信息的Logview URL中可以查看执行计划图和结果。

什么时候不应将多个小SQL语句组合为一个大模式脚本SQL

脚本模式能够支持复杂的逻辑,一个脚本可以有很多行,编译为一个执行计划,这样很容易将原来在多个SQL节点中的语句通过table variable衔接起来,拼装为一个大的脚本模式SQL。但是,并不是所有场景都适合。

例如,如果上游数据来源于两个每日更新的表,一个凌晨1点数据准备好,一个凌晨7点准备好,原来一个SQL节点1点的时候处理第一个数据,结果存为一个中间表。另一个SQL节点在7点的时候将此中间表和第二个数据源作进一步运算得到结果数据。这种场景就不适合将两个节点中的SQL组合为一个大脚本。因为一个SQL节点本来可以更早的做好数据预处理,如果合成一个大脚本,就只能在7点所有数据都到达后生成一个作业,本来可以预处理的也要在大作业中完成,反而造成全链路E2E时间更长,出错的概率也更高。

脚本模式更适合用来改写本来要用层层嵌套子查询的单个语句,或者因为脚本复杂性而不得不拆成多个语句的脚本。

参数化的视图 (VIEW)

MaxCompute传统的VIEW,可以封装一段SQL脚本,底层的逻辑可以很复杂,比如访问多个表,做复杂的运算,但是调用者可以像读普通表一样调用VIEW,不关心底层实现。这样的VIEW实现了一定的封装与重用,使用非常广泛。

但是传统的VIEW也有一个限制,就是不能接受任何调用者传递的参数。例如某个VIEW读取一个底层表,希望调用者可以提供一个表对底层数据进行过滤,或者传递任何其他参数,这些需求传统VIEW都不支持。如此便限制了传统VIEW在代码重用方面的能力,而开发中仍经常需要多次复制类似的代码。

MaxCompute支持带参数的VIEW,可以传入任意表或者其他变量,定制VIEW的行为。

首先在MaxCompute建立一个新的MaxCompute脚本文件, 如下:

可以看到,pv有两个参数,一个是表参数,一个是string参数,参数可以是任意的表或者基本类型。创建另一个脚本调用此VIEW,如下:

可以看到pv1可以用不同的参数调用,表参数可以是个物理表,view,表变量或者CTE中的表别名,普通参数可以是变量或者常量。

点击此脚本的graph页 (上图中最下边的红框),可以看到此脚本对应的执行计划:

可以看到,不管调用多少次,用什么样的参数,MaxCompute编译器都会将整个脚本编译为一个执行计划。

实际上,参数化VIEW不一定是一个SQL语句,也可以像脚本一样,包含多个语句。例如:

其中BEGIN到END;之间的语句,就是这个VIEW的脚本。注意其中最后一句,@pv2 := ...,这个语句相当于是其他语言中的RETURN语句,方式为向一个与VIEW同名的隐含的表变量赋值。

在VIEW参数匹配的时候,实参和形参匹配的规则和普通语言一样。如果可以隐式转换,就可以匹配,例如bigint的值可以匹配类型为double的参数。表变量相对复杂一些,但是规则也很简单,如果一个表的Schema,能够用来插入到另一个表中,那也可以用来匹配同样表Schema的表类型参数。

对于返回的类型,有的时候希望明确声明,例如为了可读性。可以明确地声明返回类型,例如:

其中的RETURNS @ret TABLE (x string, y string), 定义了:

  • 返回类型为TABLE (x string, y string)。也就是返回给调用者的类型,注意可以在此定制表的Schema
  • 返回参数为@ret,在VIEW的脚本中对其赋值,就相当于返回。

实际上,对于没有BEGIN/END和没有返回变量的VIEW,都可以认为是这种形式的简化形式。

在参数化VIEW的时候,对于脚本有一些其他限制。

  • 脚本中只能由DML语句,并且不能有INSERT与CREATE TABLE AS语句。
  • 脚本中不能有屏幕显示语句。

最后,MaxCompute提供了新的脚本模式与参数化视图,可以明显提高开发者的编程效率,提高代码的可重用性,与此同时,也提高了性能!我们推荐您尽量使用脚本模式和参数化视图。

原文链接
本文为云栖社区原创内容,未经允许不得转载。

第九弹 - 脚本模式与参数视图相关推荐

  1. 使用Spyder控制台(console)执行带参数脚本和带参数的debug模式

    使用Spyder控制台(console)执行带参数脚本和带参数的debug模式 很多python脚本运行时要加入参数,在spyder的控制台中运行会更加方便. 比如,运行某个脚本: run visua ...

  2. katalon android 测试,脚本模式创建测试用例 - Katalon Studio

    脚本模式创建测试用例 在手动视图之外,Katalon Studio还允许专家级用户在脚本视图中用编程方式编写自动化测试用例.有Groovy/Java 背景的用户可以在这个视图中很容易地编辑测试脚本. ...

  3. linux脚本外输入参数,shell 脚本中关于用户输入参数的处理

    1.命令行参数 向shell脚本传递数据的最基本方式是使用命令行参数. (1) 读取参数 读取输入的参数的变量为位置参数,位置参数通过标准数字表示, 其中$0为程序名称,$1为第一个参数,$2为第二个 ...

  4. linux shell运行脚本命令行参数,shell脚本命令行参数简介

    之所以用到命令行参数,关键在于shell脚本需要与运行脚本的人员进行交互. bash shell提供了命令行参数添加在命令后面的数据值).命令行选项修改命令行为的单字符值)和直接读取键盘输入. 1.命 ...

  5. c# 后台传到前台乱码_ASP.NET关于前台脚本传递中文参数,后台获取乱码问题(乱码为方框,黑色方框等。。)...

    随笔,很菜的笔记 关于ASP.NET关于前台脚本传递中文参数,后台获取乱码问题(乱码为方框,黑色方框等..)这种乱码问题,其实有很多解决方案 一般的只要在脚本的参数钱加上escape或者encodeU ...

  6. .NET应用架构设计—表模块模式与事务脚本模式的代码编写

    阅读目录: 1.背景介绍 2.简单介绍表模块模式.事务脚本模式 3.正确的编写表模块模式.事务脚本模式的代码 4.总结 1.背景介绍 要想正确的设计系统架构就必须能正确的搞懂每个架构模式的用意,而不是 ...

  7. vb html ie弹出窗口,VB6 统制IE弹出模式窗口

    VB6 控制IE弹出模式窗口 最近一个小项目,开发一个插件,需要对一个第三方系统的网页内容进行操作.操作的内容还比较复杂.自然选择用BHO做. 做到一半卡住了,原因在于这个网站有一个showmodal ...

  8. 【shell】shell脚本读取给定参数|参数个数

    目录 实例脚本 脚本 使用方法 数组获取参数 字符截取方法 解决类型 汇总 实例脚本 参数 $1, $2,..., $N代表了命令行的第1.2--N个参数,$0代表了本脚本的名字,$#代码参数个数,@ ...

  9. linux的shell命令行参数,shell脚本命令行参数简介

    之所以用到命令行参数,关键在于shell脚本需要与运行脚本的人员进行交互. bash shell提供了命令行参数添加在命令后面的数据值).命令行选项修改命令行为的单字符值)和直接读取键盘输入. 1.命 ...

最新文章

  1. 不能创建Outlook邮件的解决办法
  2. InnoDB和MyISAM是否支持hash索引
  3. 性能优化—代码层面优化
  4. 833系列——二叉排序树
  5. android ndk gcc,Android NDK GCC似乎是铿锵的 - 它应该是这样吗?
  6. 在Rayeager px2上搭建web服务器anmpp
  7. C51单片机————总线与系统扩展
  8. React --获取服务器数据的两种方式(Axios和FetchJsonp)
  9. mysql数据库的凭据是什么_使用存储的凭据通过dplyr连接到MySQL数据库
  10. c# 字符串编码问题
  11. 【问题10】使用Redis SETNX 命令实现分布式锁
  12. IE恶意修改防护大法(转)
  13. lingoes/灵格斯词霸/灵格斯翻译家开始弹窗去除方法
  14. 游程编码run length code
  15. iOS 加载本地gif缓慢
  16. 【数据结构】 树与二叉树的基本概念、结构特点及性质
  17. 科达与中航工业签署战略合作协议
  18. H5网站-微信浏览器中打开底部fixed遮住内容区域问题
  19. cnpm安装 指定版本_vue npm install安装某个指定版本的方法
  20. node os模块读取hostname乱码

热门文章

  1. 在java语法中继承_java中的继承
  2. python for循环1 到10_python for循环(1)
  3. 前端悬浮窗效果_Flutter自绘组件:微信悬浮窗(一)
  4. 如何使用Python操作MySQL数据库
  5. leetcode 75 --- sort-colors
  6. nrf52840 gpiote如何配置中断输入_西门子S7-200 SMART PID回路控制,配置PID向导,查看项目组件...
  7. 乔布斯在斯坦福大学演讲稿英文_西方大文豪最爱的10个英文单词,写尽人世间细腻情感!...
  8. a jni error has occurred_A-08 幂函数、有理函数、代数函数
  9. 最新!清华大学:元宇宙发展研究报告2.0版发布!205页PPT
  10. 悲痛!高校一研究生在校内被撞身亡,肇事者为该校博导,警方已介入