为什么80%的码农都做不了架构师?>>>   

第一步:准备低成本存储的业务数据和DLA表

  • OSS(https://www.aliyun.com/product/oss)是云上低成本数据存储的优选方案
  • DLA(https://www.aliyun.com/product/datalakeanalytics)是云上低成本、无服务器化的支持OSS数据查询、分析的优选方案

参考如下文档使用案例,准备OSS上存储的业务数据和DLA表:
https://yq.aliyun.com/articles/623282

此步骤预计耗时:5分钟。

第二步:使用DataV访问DLA制作数据大屏

  • DataV(https://data.aliyun.com/visual/datav)是云上大数据可视化大屏的优选方案

1. 准备DataV

以第一步中的业务数据为例,构建企业销售数据大屏,本大屏主要涉及三张表:

  • orders表,销售订单数据;
  • customer表,客户记录数据;
  • nation表,国家记录数据;

登录控制台DataV控制台:http://datav.aliyun.com/data,购买基础版:

使用“兼容MySQL”的方式,就能连接DLA服务,本例中基础版就能满足。

2. 准备DLA数据源

点击 “我的数据”,“添加数据

编辑数据源:

  • 选择“兼容MySQL数据库”类型;
  • 名称按需进行命名;
  • 根据在DLA控制台https://datalakeanalytics.console.aliyun.com/overview上的链接信息(经典网络)和在阿里云站内信收到用户名、密码信息,填入相应栏目,选择目标的tpch数据库,确定保存。

3. 准备大屏模板

点击 “我的可视化”,“新建可视化

选择“销售实时监控模板”,点“创建

本示例大屏中,目标显示各个国家的销售数据情况,把下面标红的框内的组件删除。

然后为了布局,美观,重新调整一个组件在画布上的位置。

为了显示各个国家的销售数据情况,需要世界地图,删除现有的中国地图组件,然后在导航栏的“地图”中选择“3D平面世界地图”。

4. 给大屏中的组件配置数据

4.1 给地图配置数据

根据如下操作,给地图render数据:

  • 选择地图,在数据tab页面中,“数据源类型数据库选择已有数据源我的数据**”中配置的DLA数据源;
  • 在SQL中,填入如下SQL,计算按国家销售额排序的数据;
select sum(o_totalprice) total_price, n_nationkey, n_name, n_id
from orders
join customer on o_custkey = c_custkey
join nation on c_nationkey = n_nationkey
group by n_nationkey, n_name, n_id
order by total_price desc;
  • 字段id和value,分别填入上述SQL返回的n_id列和total_price列;
  • 根据业务数据更新需求(见附一:架构示意),选择大屏数据“自动更新请求”,比如60秒一次;
  • 然后点击“刷新数据”。

4.2 给总销售额配置数据

根据如下操作,给总销售额配置数据:

  • 选择销售总额组件,在数据tab页面中,“数据源类型数据库选择已有数据源我的数据**”中配置的DLA数据源;
  • 在SQL中,填入如下SQL,计算销售总额的数据;
select sum(o_totalprice) total_price
from orders;
  • 字段value,填入上述SQL返回的total_price列;
  • 根据业务数据更新需求(见附一:架构示意),选择大屏数据“自动更新请求”,比如60秒一次;
  • 然后点击“刷新数据”。

4.3 给按国家销售排名配置数据

根据如下操作,给总销售额配置数据:

  • 选择销售额国家排名组件,在数据tab页面中,“数据源类型数据库选择已有数据源我的数据**”中配置的DLA数据源;
  • 在SQL中,填入如下SQL,计算按国家销售额排序的数据;
select sum(o_totalprice) total_price, n_nationkey, n_name
from orders
join customer on o_custkey = c_custkey
join nation on c_nationkey = n_nationkey
group by n_nationkey, n_name
order by total_price desc;
  • 字段value和content,填入上述SQL返回的total_price列和n_name列;
  • 根据业务数据更新需求(见附一:架构示意),选择大屏数据“自动更新请求”,比如60秒一次;
  • 然后点击“刷新数据”。

5. 预览和发布大屏

点击右上角的“预览”,可以看到大屏发布后的效果。

确认无误后,可以进行发布:

此步骤预计耗时:10分钟。

附:架构示意

和使用传统数据库加DataV构建大屏相比,DataV + DLA + OSS的方案是另外一种低成本选择,在绝大部分频率较低的数据刷新的业务大屏场景下,DataV + DLA + OSS的方式远比DataV + 传统数据库的成本低。结合业务数据的产生,整体架构示意如下:

可能的业务数据产出的大屏数据刷新链路:

  • 业务应用程序产出的增量数据,直接上传到OSS中,通过定时查询,刷新到业务数据大屏中;
  • 业务应用程序产出的业务日志,采集到日志服务中,通过定时日志投递(最小5分钟延迟),投递到OSS中,再通过定时查询,刷新到业务数据大屏中。

作者: julian_zhou
原文链接
本文为云栖社区原创内容,未经允许不得转载。

转载于:https://my.oschina.net/yunqi/blog/3016816

15分钟构建超低成本数据大屏:DataV + DLA相关推荐

  1. 阿里大数据分析与应用(part6)--数据大屏DataV

    学习笔记,仅供参考,有错必纠 文章目录 数据大屏DataV DataV介绍 DataV基本操作 DataV 的使用流程 DataV的场景模板 DataV丰富开放的图表库 DataV 多样的地理信息组件 ...

  2. vue3+DataV+Echarts搭建数据大屏模板(建议收藏)

    一.实现效果: Vue3-Vite-Ts数据大屏 二.vue3项目构建: 前言:随着vue2官宣年底停止维护不在提供解决问题的帮助后,vue3+ts+vite大家已经都开始用了,最近也在学习,并结合D ...

  3. 海量大数据大屏分析展示一步到位:DataWorks数据服务对接DataV最佳实践

    概述 数据服务(https://ds-cn-shanghai.data.a... 是DataWorks产品家族的一员,提供了快速将数据表生成API的能力,通过可视化的向导,一分钟"零代码&q ...

  4. 海量大数据大屏分析展示一步到位:DataWorks数据服务+MaxCompute Lightning对接DataV最佳实践...

    概述 数据服务(https://ds-cn-shanghai.data.a... 是DataWorks产品家族的一员,提供了快速将数据表生成API的能力,通过可视化的向导,一分钟"零代码&q ...

  5. 海量大数据大屏分析展示一步到位:DataWorks数据服务对接DataV最佳实践 1

    为什么80%的码农都做不了架构师?>>>    1. 概述 数据服务(https://ds-cn-shanghai.data.aliyun.com)  是DataWorks产品家族的 ...

  6. 如何构建可视化的营销数据大屏?

    数据可视化大屏是数据展现最直观最全面的方式之一,对于企业重要数据指标的展示和实时数据的监测,是目前极佳的方案. 对于大屏数据展示,某知名汽车制造厂商的信息化团队有着深刻的建设经验. 该公司目前拥有两个 ...

  7. 如何构建可视化的营销数据大屏? 1

    数据可视化大屏是数据展现最直观最全面的方式之一,对于企业重要数据指标的展示和实时数据的监测,是目前极佳的方案. 对于大屏数据展示,某知名汽车制造厂商的信息化团队有着深刻的建设经验. 该公司目前拥有两个 ...

  8. 数据大屏项目Vue+DataV+Echarts(附源码)

    一.项目描述 1 前端项目 1.1 项目简介 一个基于 Vue.datav.Echart 框架的 " 数据大屏项目 ",通过 vue 组件实现数据动态刷新渲染,内部图表可实现自由替 ...

  9. 数据可视化设计经验分享:10分钟做出炫酷数据大屏

    又快到年终了,数据大屏作为一个数据管理的分析工具,在年底数据大屏的制作需求日益增加.在一些公司比如银行.证券.医院.外贸等"数据大户",在数据大屏的应用上更是有大量需求. 在接下来 ...

最新文章

  1. c2065 未声明的标识符 解决ok
  2. 杰奇为什么只能用php5.2,杰奇2.2修改系统定义后,网站报错问题解决
  3. 微信v3app支付php,php微信支付之APP支付方法_php技巧
  4. centos7安装sftp服务器
  5. [css] 举例说明BFC会与float元素相互覆盖吗?为什么?
  6. 倒计时 分秒 小程序 方法_小程序天/小时/分秒倒计时封装
  7. <select> 表单元素
  8. netstat命令---Linux查看网络和socket信息
  9. 亲测可用——PostgresSQL安装教程
  10. L019-老男孩Linux高端运维课程-linux用户管理手把手深入实战
  11. 在Ubuntu18.04TLS下安装小米随身wifi驱动
  12. 数字图像处理应用---车牌号识别
  13. windows和ubuntu双系统之双硬盘安装
  14. web高级程序员必备知识
  15. HDU 5745 La Vie en rose(bitset优化dp)
  16. 35个优秀的电子商务网站设计案例
  17. lombook插件安装
  18. 新型穿墙监控雷达Range-R:让你的隐私无所遁形(转)
  19. Abaqus应力结点数据导出与处理
  20. 揭秘:雷电模拟器工作方式

热门文章

  1. 装备保障性验证知识图谱构建方法研究-学习笔记
  2. Oracle select 基础查询语句 day02
  3. 使用ExtractTextPlugin将css和js分开打包
  4. 正则表达式获取一个文本域中每一行的值并且去掉前后空格
  5. C++:数据流和缓冲区
  6. OpenCV: kalman滤波的代码段
  7. [vue.js]Invalid options in vue.config.js: publicPath is not allowed
  8. Android的Toast介绍-android学习之旅(三十六)
  9. iOS 支付宝支付集成获取私钥
  10. 微软职位内部推荐-SDEII_ ECO