BI 报表正逐渐成为技术债,真的吗?
BI 报表是企业利用数据辅助业务经营和营销决策的利器,然而随着数字化转型的不断深入,许多企业已经进入“报表堆砌的时代”。尽管 BI 架构为业务用户带来了平民化的数据分析体验,但 IT 和数据团队依然面临着数据无法复用、指标口径不一致、开发效率低下等挑战,而这些逐渐演化为 BI 报表遗留下来的“技术债”。本文将从指标管理的角度出发,分享为什么说做好指标管理,才能真正发挥 BI 等数据分析技术的潜力。
#01
什么是技术债?
技术债是一个软件工程中的比喻,指开发人员为了加速软件开发交付,采用了一些不够严谨的短期方案,从而在未来给自己带来额外的开发负担。那么数据分析中的技术债是如何产生的?我们先从一个小故事开始。
Jack 是一家互联网公司增长团队的数据分析师,入职后他的第一个任务是配合增长经理为公司新产品制定邮件营销的策略。对于互联网产品而言,在用户对官网内容感兴趣留资后发送邮件是提升转化率的最常见手段之一,但如何设置邮件的发送频率和内容对“邮件打开率”这一指标的影响很大,Jack 需要分析过往数据,从中获取洞察和业务建议。
Jack 很快在公司数据湖 S3 中找到了过往邮件发送情况的数据集 edm_activities,而且是“清洗干净”的。但当他需要其他数据集时,例如网站访问数据,Jack 会仔细询问团队中的其他分析师这些数据的存储位置、数据的质量状况、指标的加工逻辑、数据权限申请的周期等等……
一边是寻找数据的过程艰难,一边是邮件营销任务刻不容缓。Jack 也不含糊,根据他从同事这里掌握的所有信息,一通操作猛如虎,完成了 ETL 和报表开发,顺利交差。Jack 心想:“我这次可是造福后人了,以后再有人分析邮件营销数据,可以直接用我的报表了。”
三个月以后,Jack 收到另一个任务,领导说团队本季度提交的 BI 系统扩容申请被拒了,要求他对系统做一次清理。Jack 激动地拿到 BI 平台的全局授权,但是眼前的一幕让他惊呆了:
自己的报表交差后再也没人查看过;
坐自己隔壁的数据分析师 Rose 上个月刚发布了一个相似度极高的报表;
Rose 对“邮件打开率”的计算方式和自己并不一样,差异在是否把邮件退信的部分算入分母中。
Jack 赶紧找 Rose 商量是否可以合并报表以节省空间,两人却始终难以在指标口径达成共识,最后只能说“先放着吧,反正这只有两张报表,以后再说”。
#02
技术债从哪里来?
日复一日的“以后再说”,就渐渐累积成了技术债。Jack 和 Rose 故事中的公司采用的是最常见的数据开发流程,在这个流程中,每个报表都需要 ETL 开发、调度管理、存储资源来存储结果数据和临时数据、计算资源执行 ETL 任务。如果一张报表成为“技术债”,那么报表背后的一切都让技术债“雪上加霜”。
从更深层的角度看,这种乱象是由于长久以来企业对 BI 架构的思维方式造成的 —— 数据通过 ETL 流向数据湖或数据仓库,并通过报表实现可视化。每次需要一张新的报表时,就会向现有产品池加入一个新的 ETL 和一张新的报表;这种模式形成后,就会不断重复。随着业务的发展,更多像 Jack 一样的分析师和业务用户需要访问数据,更多报表被创建,也因此建立起更多的数据孤岛,各报表之间彼此重叠但又不完全一致,问题愈演愈烈。
在这种传统的 BI 架构中,企业数据与报表紧密耦合,并在报表粒度进行管理,势必会在不同报表间产生数据和指标的冗余和重复,久而久之就产生诸多技术债。
#03
如何避免技术债?
管理学大师德鲁克曾说过,没有指标就没有管理。如果对报表进行解剖,那么每个原子都是“指标”,可视化图表则只是展现形式。如果只堆砌报表,不管理指标,技术债就会越来越多。
以前,数据分析师都是以报表为核心进行开发与管理,因而上游数据和下游业务在报表层进行紧耦合,大多数指标难以共享。现在,我们可以试图转变一下思想,以“指标”为核心进行开发与管理,通过一个“指标中台”来解耦上游数据和下游业务,就可以很容易地实现报表间的指标复用。
Kyligence Zen 就是这样的一站式云端“指标中台”,用户只需要输入 S3 数据源链接,就可以自助地在 S3 之上定义业务指标,并与组织内其他成员共享协作,实现业务指标的对齐和复用。(访问 https://cn.kyligence.io/zen/ 即可免费试用)
Kyligence Zen 是基于核心 OLAP 能力打造的一站式云端指标中台,提供以下核心四大价值,解决企业在指标管理、应用、分析上的痛点。
高效协同管理:以指标作为企业共同的“管理语言”,对齐组织业务和管理,提高组织能力;
业务敏捷提升:数据需求更快响应,业务人员、开发人员皆可以摆脱低效流程和系统;
数据口径一致:集中管理指标,确保指标口径一致和数据可信,提高指标数据在不同业务间复用;
降低开发成本:业务人员自助创建、复用指标;数据团队摆脱繁重的 ETL 工作,只需聚焦指标管理,企业人效大幅提升。
#04
回到 Jack 和 Rose 的故事
使用 Kyligence Zen 以后,当 Jack 需要查看邮件营销数据时,可以自助在平台中看到所需的指标,例如营销邮件的邮件打开率、不同话题的访问热度等,并把自己计算的指标“等待周期”发布到平台中,供其他用户使用。
Rose 也可以完全信任 Jack。她可以在平台中清晰看到所有指标的定义和逻辑,放心地复用 Jack 的指标,对齐指标口径。Rose 还可以更快速地完成业务洞察,把用于寻找和开发数据的时间更多用在分析数据方面 —— 这才是数据分析师应该做的。
对 Jack 的领导来说,通过指标复用消除了技术债,系统利用率大大提高,也不用频繁申请扩容了。即使再申请时,也有说服力很强的数据支撑了。
了解更多云上数据分析与应用、指标中台趋势等内容,欢迎大家扫描下方二维码,报名参加9月15日 Kyligence 秋季线上论坛。
BI 报表正逐渐成为技术债,真的吗?相关推荐
- BI报表平台纪实:半年被叫停,用户个位数,分析后我找到了原因
文|古牧聊数据 先给大家看一张图. 看到这图,你是不是还在疑惑,今天讲什么呢?BI报表! 本文主要结构如下: 1,从一个反例入手,讨论数据产品的重心,到底该在数据还是在产品? 2,聚焦到BI报表,看看 ...
- 微软Power BI报表服务器学习总览
今天,微软宣布了8月更新Power BI Report Server!此版本包含一些新功能,包括一些备受期待的项目,如报表主题,条件格式改进和报表页面工具提示. 报告 报告主题 用于触发操作的按钮 组 ...
- 为什么不断做迁移,那是在还技术债
本文来自2018年QCon旧金山大会的演讲,Will Larson谈到Stripe公司的代码剧增后,迁移是有效治理技术债的唯一机制,同时他还介绍了不断迁移的方法. 我是Will Larson.在这里, ...
- 都2020年了,你还认为BI=报表?
初入大数据行业,大家肯定会听到"BI""报表"这俩词,"BI"出现的地方一般都会出现"报表",以至于很多人直接认为他们是 ...
- 最新BI报表工具对比选型指标及重点注意事项---BI报表工具选型的那些事
列表在文章最后有下载方式 前言 报表工具是一个接近 20 年的产物了 但是,直到现在,在各种数据信息化的系统中,报表工具的作用,不仅没有褪色,反而是因为信息化需求的增大.数据的增多,以及报表工具本身迭 ...
- 大圣魔方——美团点评酒旅BI报表工具平台开发实践
当前的互联网数据仓库系统里,数据中心往往存放了大量Cube化或者半Cube化的数据.如果需要将这些数据的内在关系体现出来,需要写大量的程序和SQL来发现数据之间的内在规律,往往会造成用户做非常多的重复 ...
- Power BI 报表服务器企业一站式全链路解决方案
Power BI 报表服务器企业一站式全链路解决方案 (单点登录,自定义报表门户,自定义权限,应用集成) 前言 Power BI 从诞生开始就成为耀眼的明星,有着几大优势 1.快速上手 2.简单明了 ...
- 纵有倚天剑还要屠龙刀,实现Power BI报表服务器自定义认证
纵有倚天剑还要屠龙刀,实现Power BI报表服务器自定义认证 文章目录 纵有倚天剑还要屠龙刀,实现Power BI报表服务器自定义认证 概述 如何实现 配置部署和Demo 排错 总结 概述 在Pow ...
- BI报表系统在银行业的应用
在当前大数据的背景下,银行业传统联机业务技术存在开发周期长.不够灵活.大量的业务数据难以充分利用.操作复杂.监控效率低等弊端,多数企业表示需要搭建一个符合银行特色的商业智能平台,把需要的数据和信息集中 ...
最新文章
- 操作系统性能优化分析及工具
- c++ 三次多项式拟合_非线性回归模型(一)--多项式回归
- python基础-模块导入
- JUnit 5 – 早期试用体验 – 第2篇
- Transact_SQL小手册
- oracle 读懂10046视频,10046、10053、实操记录
- python和c#交互_python与C#的互相调用
- HMC支持管理服务器数量及适合POWER6服务器的HMC型号
- 小程序-demo:快速开始
- Activity中通过标签获取当前Fragment
- QCIF CIF 2CIF 4CIF 普及
- 如何更改微信标签名字_微信标签怎么设置?有什么用?
- 万用表如何进行欧姆校零
- 拼多多的正品险是个假保险?
- 调整 Windows 11 任务栏位置
- 基于矢量的水下路由协议
- 解决win10通过KMS激活的出现浏览器主页被修改为hao.qquu.com问题
- Python绘制RTKLIB的POS文件中的XYZ误差曲线及计算RMSE
- pyecharts导演人物关系图
- 中国夜视监控摄像机市场趋势报告、技术动态创新及市场预测