上一篇写分享了通过MaxCompute Studio 编写sql脚本时“编译”功能带来的便捷,这次分享脚本编译好提交运行后,自助查看作业的执行情况。

我们很熟悉的是通过logview,去分析作业的执行情况,logview上有很详细的执行日志,而Studio不仅仅提供可视化的信息,还会明确给出一些分析结论如job是有否长尾或数据倾斜情况。

比如我写完一个sql脚本,编译成功

image

接着执行脚本,Studio自动打开当前job的执行详细信息页面,包括job基本信息列表、详情展示和分析区(执行计划图、时序图、分析等)

image

如上图,job执行失败:

界面底部RUN日志中打出具体的错误信息。

详情展示区默认显示执行计划图,可以看到子任务的依赖关系,双击每一个子任务节点图,可以展开更详细的信息。

即使是失败的job,也可以切换到分析tab查看具体结论,如本次执行,job有长尾。

image

可以点击具体的长尾节点查看该节点的长尾图进一步分析,相关长尾调优可以参考文档计算长尾调优。

我有几张阿里云幸运券分享给你,用券购买或者升级阿里云相应产品会有特惠惊喜哦!把想要买的产品的幸运券都领走吧!快下手,马上就要抢光了。
修改好sql脚本,再执行,执行成功如下图:

image

成功的任务我们依然可以分析很多信息,比如查看那个任务task耗时热点:

image

点击下面的进度条可以回放整个job执行的过程

image

可以查看耗时最长的前10个节点

image

可以查看每个子任务执行过程所有fuxi instance各种I/O信息:

image

同样的可以看到分析信息,看是否还有可优化的点。

怎么样,这样看日志是不是感觉更容易理解了呢!
原文链接

MaxCompute Studio使用心得系列3——可视化分析作业运行相关推荐

  1. MaxCompute Studio使用心得系列7—作业对比

    2019独角兽企业重金招聘Python工程师标准>>> 在数据开发过程中,我们通常需要将两个作业进行对比从而定位作业运行性能或者结果有差异的问题,但是对比作业时需要同时打开两个stu ...

  2. MaxCompute Studio使用心得系列6——一个工具完成整个Python UDF开发

    摘要: 2017/12/20 北京云栖大会上阿里云MaxCompute发布了最新的功能Python UDF,万众期待的功能终于支持啦,我怎么能不一试为快,今天就分享如何通过Studio进行Python ...

  3. 爬取猫眼电影影评,数据可视化分析源代码运行说明

    欢迎关注微信公众号:简说Python 账号:xksnh888 关注回复:1024,可以领取精选编程学习电子书籍. 爬取猫眼电影影评,数据可视化分析 项目地址 :github项目地址 之前一直有同学说不 ...

  4. 【ECharts系列|02可视化大屏】 舆情分析,人口分析及警情警力活动情况的实现【下篇】

    简介:ECharts实现可视化大屏展示,包含人口分析,警情警力分析多张效果图, 完整的html+css+js+img:https://download.csdn.net/download/weixin ...

  5. python3爬虫系列08之新版动态智联招聘并存取数据库进行可视化分析

    python3爬虫系列08之新版动态智联爬取和存取数据库进行可视化分析 本篇是面向新版动态智联爬虫,数据存储到Mysql数据库,最后使用pyecharts读取并可视化分析. 在这之前,上一篇说的是 p ...

  6. 数据图表与分析图_史上最全最实用的数据可视化分析图表制作工具汇总

    俗话说的好:工欲善其事,必先利其器!一款好的工具可以让你事半功倍,尤其是在大数据时代,更需要强有力的工具通过使数据有意义的方式实现数据可视化,还有数据的可交互性;我们还需要跨学科的团队,而不是单个数据 ...

  7. 最实用大数据可视化分析工具

    近年来,随着云和大数据时代的来临,数据可视化产品已经不再满足于使用传统的数据可视化工具来对数据仓库中的数据抽取.归纳并简单的展现.传统的数据可视化工具仅仅将数据加以组合,通过不同的展现方式提供给用户, ...

  8. 如何对PDF文献做可视化分析?

    看了大量文献后,你的硬盘上想必存下不少PDF文件.能否充分利用它们,挖掘出你独特的领域知识地图呢?本文为你提供一种简便易行的办法. (由于微信公众号外部链接的限制,文中的部分链接可能无法正确打开.如有 ...

  9. 玩转MaxCompute studio SQL编辑器

    为什么80%的码农都做不了架构师?>>>    摘要: SQL因其简单易学的特点,是用户与MaxCompute服务交互的主要手段.如何帮助用户高效愉快的编写SQL是MaxComput ...

最新文章

  1. cannot find package “github.com/json-iterator/go“cannot find package “github.com/modern-go/reflect2“
  2. 软件架构自学笔记——非功能特性
  3. data lab 1(暂时只放题目)
  4. maven中打包项目为war包的pom.xml配置
  5. java中try-catch另外一种用法:try(){}语法使用
  6. 二叉树的三叉链表存储和基本操作
  7. Asp.net mvc 实时生成缩率图到硬盘
  8. 如何将百度文库中不能复制的文字复制下来
  9. 量子计算机五条原则,量子信息科学:量子计算机、隐形传物与人脑量子运算
  10. 电力公司SMS短信群发平台的设计与实现
  11. 基于c#条码打印软件源代码 可选择打印机,可选择标签
  12. 使用c语言实现的fifo程序,C语言实现标准FIFO
  13. 微星GS73VR 6RF + Linux Mint 18 + GTX1060 + CUDA8.0 + OpenCV3.0.0 + Caffe安装笔记
  14. 智障的wordpress更换主题之旅
  15. python3 opencv 视频格式转换
  16. c++中的clock()函数
  17. github获取token composer create-project slimkit/plus 出错
  18. 关于windows10家庭中文版最近更新后无法使用共享打印机
  19. 聚焦机器人集成应用,看未来工厂“智”变!
  20. DJI Mobile SDK(2):多自由度控制飞行(Virtual Stick)

热门文章

  1. 远程服务器 上传公钥,SSH远程连接报错Permission denied (publickey)
  2. 两个mapreduce 做topn_Apache Hive 是怎样做基于代价的优化的?
  3. 未来是计算机科学的天下,美国留学信息与计算机科学发展方向
  4. linux查看进程打开的句柄数,【转】Linux下查看进程打开的文件句柄数
  5. 元胞计算机系统,元胞自动机
  6. 手把手教你使用python爬取网络图片并存入本地
  7. linux中pushd和popd用法,在Linux中使用pushd和popd命令操作目录的用法
  8. cfilefind 能找ftp 服务器上的文件夹吗?,将ftp目录映射为本地盘符
  9. 如何linux安装apache服务器,Linux中如何安装Apache服务器
  10. 高级工计算机操作试题及答案,计算机系统操作高级工试题和答案[1]