Gartner ABI报告技术解读：2021 BI 与数据分析魔力象限

导读

Gartner 是全球权威的 IT 研究与顾问咨询公司，20 年以来，Gartner 的研究与咨询服务一直被认为是客观技术思想领导的权威来源。从 Gartner 2021 年新鲜出炉的 BI 报告来看，Quick BI 继去年成为首位入选 Gartner 魔力象限的国产 BI 以后，今年位置稳步提升，连续 2 年成为国内唯一入选 Gartner 魔力象限的国产 BI。

今年我们继续解读 Gartner 报告，从 2021 年 BI 发展趋势，到魔力象限变化分析，最后再聊聊 Quick BI 去年技术做了哪些突破。

趋势分析

2021 年的变化

ABI platforms are no longer differentiated by their data visualization capabilities, which are now commoditized… Differentiation has shifted to how well platforms support augmented analytics.

今年报告特别提到一个风向的转变：可视化能力已不是 BI 间的差异因素，所有 BI 平台都已经使用成熟的图表库构建仪表盘。差异已经转移到平台支持增强分析的程度，即利用机器学习与人工智能辅助的数据准备、洞察生成与解释，以代替低效的手动分析手段。

MQ（象限）变化

进入象限的厂商从 22 位减少到 20 位，今年的标准有所提升。
出局：Dundas、Logi Analysics、Salesforce 从 2021 魔力象限中出局。
- Looker 被 Google 收购
- Birst 现在称为 Infor 服务的一部分
- Salesforce 收购了 Tableau，以Tableau的形态体现
新增：Infor、Amazon Web Services
重要变化：
- ThoughtSpot 跌出领导者象限。
- Domo 进入挑战者象限。
- Quick BI 在特定领域者象限中排名有所提升。

Quick BI 技术亮点与突破

2021 年，阿里云数据中台核心产品 Quick BI 继 2020 年后，再度入选 Gartner ABI 领域魔力象限，继续成为该领域唯一入选的国产 BI。Quick BI 凭借灵活的公有云部署，独立部署能力、无缝对接各类云上数据库和自建数据库、可视化搭建分析、高效数据处理能力与强大数据计算能力在 2021 年依然保持领先水平。

概括性的说，BI 是商业智能分析工具，以数据作为燃料驱动商业的增长。BI 产品有以下四个阶段，也是四个核心流程：数据连接、数据建模、数据分析、数据消费。见下图。

数据连接：Quick BI 支持无缝连接所有阿里云上数据源，只要你有数据，无论什么形式都可以快速导入。
数据建模：利用第一步产生的数据源建立数据集。计算字段、缓存加速、自定义 SQL 等等，数据集是你在 Quick BI 数据分析、消费的唯一通行证。
数据分析：除了报表外、还有电子表格、自助分析、自助取数、智能小 Q、表单填报等花样分析你的数据，最后将这些数据整合到数据门户上，让你的老板惊叹你工作效率之高。
数据消费：所有数据分析结果都能在移动端、PC 端、大屏自动适配，再配合邮件、钉钉推送，让你的同事每天及时看到重要数据分析结果。还有监控告警、嵌入集成等高级功能。

下面从产品与技术角度分析 Quick BI 近年来取得的突破创新。

云上数据中台

依托于阿里云是 Quick BI 的一大卖点，不仅如此，Quick BI 还与阿里云上产品深度融合，形成了产品合力：

依托于阿里云的弹性、高可用架构，使 Quick BI 获得了稳固的存储与计算能力。结合阿里云数仓产品 Dataphin，可以大大提升数据建模能力与查询效率，并极大降低企业数据管理成本。

在业务产品中，Quick BI 已积极与各产品打通，已为生意参谋、Quick Audience、钉钉等产品提供了数据分析能力。阿里云产品具备模块化能力，产品间的融合与打通往往可以达到 1+1>2 的效果，服务用户是无界的，无论是否购买 Quick BI，都应该能享受到 Quick BI 数据分析能力产生的价值。

增强分析

1、智能小Q

智能小Q（以下简称小Q）是 Quick BI 移动端一款对话式智能数据机器人。您可以随时随地向小Q 提问，便捷地获取数据、高效地进行数据洞察。

小Q 使用自然语言处理（NLP）技术，自动识别用户输入的问题，通过机器学习算法分析出用户的查询意图，智能地以最适合的数据可视化方式返回数据，并且能够推荐相关问题。当您发现数据异常时，还可以方便地下钻分析数据。

有了智能小Q，每天关心的数据，它会定时推送给您。重要的指标出现异常，它会主动发送报警，还可以将小Q添加到钉钉群中，对小Q进行提问，查询数据，更方便地和同事协作，并基于数据做决策。

小Q 在自然语言问答、智能推荐、预警&归因等多个方向攻克了诸多技术难点。尤其在自然语言问答上，采用阿里巴巴达摩院语言技术实验室强大的自然语言处理技术，不仅在基础方向如多语言分词、词性标注、命名实体识别、信息抽取、拼写检查/语法纠错、句法和语义分析、深度语言模型、语义表征及相似度等有强大的处理能力，还结合了 BI 场景下的商业分析属性，在意图识别和智能分析上进一步增强，实现对话式的数据分析能力。

2、智能监控

随着敏捷BI的推广，企业越来越依赖数据，每天需要通过监控大量数据来了解业务情况。另外，需要查询的数据越来越多，靠人主动监控越来越不现实，会遗漏大量异常。
智能监控告警解决了以上痛点，通过BI系统将图标中的时序指标定时获取并存放到tsdb时序数据库，定时通过规则及智能算法监控异常指标，通过预设的邮件、短信、钉钉等渠道通知，让分析师可以在数据发生异常波动时能及时被告知并处理，避免更多损失或者抓住机遇。

在技术上，有如下亮点：

多源采集。支持大部分常用数据源接入，可从仪表板指标上配置，灵活可扩展。
不仅支持传统的规则校验，及利用时序预测算法的智能化校验，双重保障，无需复杂配置，智能监测数据波动。
支持维度拆解，多维度判断指标异常情况。
集中统一调度，底层存储（tsdb）稳定可靠，支持企业独立部署。
多渠道通知，告警信息及时触达。

3、波动分析

日常的分析师及业务同学做数据分析，本质上来说是洞察数据现象后面的原因结论，驱动业务动作。通过波动原因分析模块，可以针对指定数据分析其在时间序列上的波动情况，并定位波动原因，从而大大提高分析效率。

对于分析师：日常常规分析结论快速产出，极大提高分析效率。
对于数据产品经理：现有数据产品快速接入，提高业务数据分析效率。
对于一线业务：针对特定分析场景自助接入，实现洞察能力普惠。

首先会把整个多维空间切分成一系列的subject，然后针对每个subject会由一系列的算子（operator）分别进行挖掘计算，每种不同的洞察类型对应于一个或一组对应的算子，再进行贡献度和变化率的计算。例如：图中红色部分就是波动原因分析的挖掘算子。

对于贡献度计算过程，分为维度拆解和下钻归因两部分：度量指标在该维度下的异变度，对异变度比较大的维度，才需要进一步下钻，对具体的维度值进行归因分析。考虑到维度值可能很多，实时计算时需要筛选后输入，需要首先按指标异变分筛选 top100 的维度值，再对 top100 的维度值对应的指标值计算维度异变度，在度量拆解上，我们使用Shapley Value 归因方法，可以较为快速准确地拆解到相应的度量。

移动端

除了智能小Q 外，移动端在可视化能力、查询分析能力等多个方向上有了明显的提升。我们针对移动端屏幕小，数据查看轻便、快捷等特点进行了一系列的优化：

专门对十类线柱面图、交叉表、排行榜等图表在移动端的展示进行了优化
新增了适合移动端交互习惯的联动、钻取、跳转等可视化分析能力
新增了单个图表、tab 等多个级别的查询控件及指标筛选等，强化了数据分析能力
针对移动端“高管看数”特点，在多种模板场景中优化移动端整体展示效果
…

除了上述优化外，随着触摸屏和传感器技术的发展，出现了许多交互的机会，而手势通常被认为是与屏幕最自然的一种交互方式，手势交互的普及，降低了人与设备之间的沟通门槛，并且带来了革命性体验和便捷。Quick BI 移动端将手势功能融入到了BI 产品的分析中。

QuickBI 移动端手势基于自研图表实现，图表的绘制涉及 3 个重要的生命周期布局-绘制-展现。一个图表可以抽象成 top、bottom、left、right、center 五个区域，不同区域展示不同的内容，比如 bottom 区域显示横坐标，轴标题等。数据部分则展示在 center 区，图表数据区域的绘制主要思路就是将数据映射到真实的画布上。我们抽象了两个 Frame , 一个是数据集的 logicFrame ,一个是画布 Frame ：

通过识别到的对应手势操作，保持 logicFrame 不变，缩放画布 Frame 大小，通过 convertPointToPixel （数学点转换为像素）convertPixelToPoint （像素转化成数学点）两个方法完成数学点和像素之间的转换，进而实现缩放、旋转、分裂等手势功能。后续还会进一步挖掘通过手势进行的看数操作，如放大到极限值后自动下钻等交互方式。

可视化分析

1、交互式分析

Quick BI 可视化分析，主要包括了联动、钻取、跳转等，是 BI 中非常重要的一类操作，它可以帮助分析师多维度分析数据，从异常数据层层筛查分析，找到根本原因，进而制定相应对策，帮助企业健康发展。

以此为基础，Quick BI 具备可视化交互式分析能力。用户在BI产品的图形可视化界面（仪表板）内，通过各种操作行为（鼠标悬停、点击、圈选等）与可视化图表进行交互，操纵图表的数据展示形式和内容。可视化的界面能够让用户以一种更便捷、直观和及时的方式动态操作图表，同时给出分析过程和分析结果。

可视化报表的生产者在 Quick BI 仪表板内对数据进行可视化展示和分析后，可以通过标注的形式将分析结论记录下来，并与其他查看者分享，这也将仪表板的功能定位从单人分析工具拓展到了团队分享渠道。

添加标注支持手工标注和自动计算两种形式。通过手工标注的方式可以对具体维度值进行打标；借助平台的自动计算能力，支持从度量阈值到拐点配置等多项自动计算形式的标注添加方式。标注的展示内容十分多样化，囊括了数据点、背景色、Icon 和富文本注释等多种形式。

Quick BI 的图表可视化和交互时分析使用了 G2 的框架能力，并兼容扩展了 G2 来适配可视化交互式分析的业务需求。如何对 20 多种类型的图表进行可视化交互，到针对各种类型的交互进行 OLAP 数据模型查询取数和数据分析，再到数据搭建引擎层 bi-designer ，Quick BI 在技术框架上进行了分层的设计，层与层之间通过数据流的方式进行交流，使得各层具备专一功能性，数据流管理更新清晰明确，赋予 Quick BI 平台可视化交互式分析功能更大拓展性和更高兼容性。

2、时序分析

Quick BI 全新上线的动态图表组件(饼图、条形图、气泡图等)是在常规静态图表组件的基础上加以时间的维度，让原本只能表达切片数据的静态图表，在时间线和播放轴的结合下，切片数据可以随时间变化进行动态展示，这也让普通的图形能表达业务的动态变化。

动态图作为集视觉效果、表达性、故事性为一体的图表组件，备受BI用户的欢迎。而如何开发出动画流畅，可读性强的动态图也让我们下了一些功夫。

Quick BI 的动态组件开放了 animate 的配置入口，用户可以通过配置不同动画场景类型（appear、enter、update、leave等），不同动画缓动效果（zoomIn, pathIn, scaleInY, scaleInX等）来表达动态图表的动画场景。
不仅于此，Quick BI的底层图形库开发了功能更强大的 timeline 播放轴组件，播放轴组件可以通过控件的形式注册到各类型的图表上，控件形式的注册方式支持了更多图表类型开放动态效果，减少定制化开发的工程量。图表变化中，播放轴组件可以向用户可视化呈现当前帧动画所处的时间维度，用户也能自主通过播放轴组件的按钮开始或暂停动态图表的动画效果。

3、中国式表格

Quick BI 电子表格整个函数底层由计算引擎支撑，目前支持包括 VLOOKUP 等常用函数在内的 465 种函数和公式，覆盖 Excel 的大部分函数。并且，基于 OOP 的公式设计，开发者可以非常方便地扩展自定义的函数（此能力未来将开放），如下：

我们实现了一个斐波拉契数列的自定义函数，然后可以直接像常规函数一样使用：

除基本的 Excel 式表格操作及公式外，我们将仪表板可视化能力也延伸到了 Quick BI 电子表格中：

如上图所示，在技术架构上，我们新增了一层“统一输入模型”及相关的数据处理配套，使得原本仅“OLAP 结果集”型（仪表板）的输入源，可以平滑支持“表格数据”（Excel），从而让表格数据也能享受到 46+ 可视化图表的强大配置、展现和分析能力。

交叉表作为最常用的可视化图表，提供了非常丰富的计算和展示功能。支持维度和指标在多种组合下的交叉分析，支持自定义的字段聚合逻辑及排序逻辑，支持聚合/明细模式的一键切换。在展示上提供了树状/平铺两种基础的展示模式，有丰富的表格主题配置，灵活多样的条件格式配置，同时提供了查看报表时的排序、指标筛选、列宽拖拽等交互能力。

在技术实现上，Quick BI 交叉表基于自研的 MatrixTable 开发，是应对高度定制和大数据量场景的自研表格组件。支持大数据量的渲染（Quick BI 支持 3 万行* 5 百列的数据展示）、支持自适应布局、合并单元格、固定行列头以及非常灵活的渲染模式（文本/图片/色块等均支持，按行、按列、按单个单元格自定义渲染均支持）

海量数据加速

作为一款 BI 分析产品，仅仅功能设计的强大是不够的，数据查询足够快，也是评价一款 BI 产品是否优秀的重要指标。

在 Quick BI 中，通过多种手段结合的方式，来实现用户海量数据的加速查询。

用户产生的海量数据，会被采集到数据仓库（一般是 ODPS）中。这时用户可以直接将 ODPS 作为数据源接入 Quick BI ，也可以选择先将数据同步到实时数据库，如 ADB 中，再接入 Quick BI。
而 Quick BI 也提供了四种方式，对接入的数据进行查询：
（1）数据直连
直接访问客户的数据源，实时获取数据。

（2）数据抽取
支持将客户的数据导入 Quick BI 的内置存储引擎，查询时从存储引擎中获取数据，获得更快的查询体验。

（3）实时加速
该类加速主要针对直接访问 ODPS 数仓的查询。对于该类查询，目前 Quick BI 提供了2种加速方式，来完成亿级数据的秒级响应。

Quick BI 通过内置 MPP 加速引擎，支持对该类查询的实时加速。该方式为 Quick BI 的默认加速方案，客户无需自行配置；
Quick BI 在提供了内置加速引擎的同时，也支持用户接入第三方加速引擎，如阿里云上的数据湖分析服务（Data Lake Analytics，简称DLA）。对查询加速有更高要求的客户，可以选择该方案，独享加速资源。

（4）预计算
对于查询速度较慢，且不会频繁更新（一天内更新多次）的数据，Quick BI 提供内置预计算引擎，对客户数据进行预聚合。用户查询时，Quick BI 直接以 molap 的方式来查询这些预先聚合的数据，达到加速的目的。

在这四种查询方式的基础上，Quick BI 还提供了独立的缓存模块。对于不要求秒级刷新频率的查询，用户可以在数据集上开启缓存并设置失效时间。开启了缓存后，查询结果会被存储在 Quick BI 内置缓存里直至失效。在此期间，缓存一旦命中，会立刻将数据返回，带给客户几乎无耗时感知的查询体验。

开放集成

近年来随着国内计算机科学的发展和信息化技术的普及，越来越多的企业或个人客户对 Quick BI 产品提出了更高的诉求，这些客户希望按照一定的开放标准，能够做到快速接入自己的数据源、打通内部系统的账号登录和权限体系、监听系统内的关键数据指标变化、定制并接入开发的图表、能够把做好的报表嵌入到自己的APP或内部系统。

我们用心搜集了这部分客户的诉求，调研了行业的发展趋势，决心尽可能最大化开放我们的技术架构，来让更多有开发能力的客户和生态ISV合作伙伴加入到我们中来定制自己的个性化需求。下图是我们依据客户诉求对未来产品的开放集成体系做的一个能力划分，主要包含数据集成、安全集成、流程集成、自定义可视化、嵌入分析 5 大板块，后续产品也会围绕这 5 大板块构建 Quick BI 的开发者生态。

目前，依托于 Quick BI 的开放集成架构，我们已经在阿里巴巴经济体内打通了多个行业产品的数据分析链路，包括生意参谋，QA(Quick Audience) ，钉钉等，用户可以使用这些产品的个人数据开发自定义报表。接下来我们也会将这些能力逐步开放到云上，希望让我们的产品和客户的生产、管理、办公系统做无缝的集成对接，完善企业办公一体化、自动化闭环，更好的为客户创造数据的价值。

1、自定义可视化

目前 Quick 专业版中已经内置了 40 多种可视化图表，这些图表基本涵盖了大部分客户的统计分析类场景。但是，对于一些专业细分领域，还是有一部分客户诉求无法覆盖到，例如项目管理的甘特图，股市分析的 K 线图以及检测异常的箱型图等，这些领域类图表依然有很高的价值。

为了更好的满足客户的可视化定制诉求，我们对客户开放了我们的可视化接入能力，开发人员只需要按照我们的产品开发帮助文档，就可以快速简单的开发出自己想要的组件。无论你是想用 Echarts，G2，还是 D3 等图表库（注意商业侵权的潜在可能性），或是想用原生，JQuery，React 等开发框架我们都能提供一体化的脚手架服务帮助开发者快速构建种子工程，打包发布并上传开发好的组件，整个过程简单而流畅。

2、开放API

开放API是流程集成中的重要一环。流程集成，目标是通过接口和事件的方式，实现三方系统与 Quick BI 之间数据的双向流通。三方系统可以根据开放 API 将 Quick BI 中的操作，集成到客户的系统中。例如：客户可以通过接口，获取组织下的所有报表资源，并可以在客户自己系统，通过授权接口，对报表进行分享授权操作，所有页面操作都在客户系统中完成，但是数据同样写入到了 Quick BI 系统，这样便实现了系统间的无缝对接。

目前，在 Quick BI 开放API正在日趋完善。对于独立部署版本已经开放 70+ API 接口，阿里云公共云环境已经提供 45+ API 接口，所有已经开放的接口，涵盖了组织管理（组织成员、用户组、成员标签、工作空间、工作空间成员）、权限管理（报表分享授权、行级权限管理、门户授权管理）、资源管理（报表资源管理、数据集管理）、数据管理（数据服务、血缘分析）等，并提供 HSF/Restful 方式的调用的 SDK。SDK 已经封装了安全校验、重放攻击、过期校验等能力，客户无需关心内部实现机制，便可快速完成接口的开发对接调试。

3、安全集成

系统集成，首先面临的便是系统间账户的登录方式。目前，Quick BI 重要面临三种场景，a：公共云 SaaS 环境，对接了行业标准账号体系，例如阿里云账号、淘宝账号、钉钉账号；b：独立部署环境，也是最复杂的登录场景，客户的登录场景众多，登录协议千差万别。c：中台或者微中台的场景，例如 Quick BI + Quick Audience + Dataphin 的中台方案，如何中台产品间共用登录态，一套登录方案实现与客户系统的打通？

Quick BI 在过去的一年，重点加强了登录集成的能力构建，期望达成如下目标：a：提供统一的身份适配层，支持多种账号体系的登录对接，例如：自建账号体系、二方账号体系（客户登录 SSO 系统）、三方行业账号体系（阿里云、淘宝、微信等）以及行业标准登录协议（OAuth2.0, SAML等）。支持多域名多帐号体系的登录。b：提供可扩展的开放集成能力，以应对众多登录场景的登录对接需求。提供系统登录的配置能力，降低运维交付成本。

目前，多帐号多域名的登录体系，正在逐步开发完善中。未来，客户可以在一套环境中，使用不同的登录方式，登录到 Quick BI 中。目前，已经实现的登录方式有：阿里云、淘宝、钉钉账号、自建账号、标准自有协议SSO登录等。

Quick BI 待提升的部分

报告中提到了 Quick BI 三个不足：

过于聚焦单一市场：这和中国市场对云能力、BI 能力期望值较低有关，国内市场发展阶段较为落后，所以国内 BI 产品也不敢过于激进的增强功能。
市场动能较弱：目前 Quick BI 还处于快速增长阶段，但相对的，市场份额也相对较小，同时过于聚焦国内市场，也导致了其国际竞争力很弱。
产品能力较弱：虽然在国内 Quick BI 功能已经较强，今年也做了几次大版本功能升级，但与国际友商比起来，依然全面落后。
过于聚焦单一市场，这一点是符合国内外 BI 发展大趋势的，实际上国际市场占主导地位的 BI 也难以打进国内市场，原因在于国内对 BI 需求较为落后，且存有大量中国特色表格需求，这方面本土化 BI 服务得更好一些。但这也导致了国内 BI 出海困难，存在需求不匹配的问题。

市场动能较弱，是现在 Quick BI 最大的痛点，根据 2019 年 BI 市场份额显示，前五名分别是：帆软、SAP、微软、IBM、SAS，分别占领市场份额的 16.3%、9.2%、8.5%、5.9%、5.2%。其余 BI 产品占市场的 59.4%，但没有一个市场占有率超过第五名，说明 Quick BI 不仅市场占有率很低，而且还处在一个非常碎片化的市场，第一名只有 16.3% 的份额，可见存量市场份额抢占非常困难，这也和 ToB 业务的性质相符。

产品能力较弱，这是站在全球趋势来说的，由于国内 BI 市场发展阶段较为落后，BI 产品必定要与市场的发展阶段相匹配，我们只要坚持聆听用户的声音，做符合所在市场行情的决策，方向就不会偏。

展望

虽然商业智能软件领域竞争激烈，且有大量巨头厂商存在，但国内仍然有巨大的发展潜力：据 IDC《2019年下半年中国商业智能软件市场数据跟踪报告》显示，2019 年全年中国商业智能软件市场规模为 4.9 亿美元，同比增长22.6%，预计到 2024 年，中国商业智能软件市场规模将达到 11.9 亿美元。

且在 2019 年，国内市场的报表分析需求占 79%，而高级分析与预测分析需求仅占 21%，这也为国内 BI 的发展创造了有利的时间窗口。

Quick BI 依托于阿里云，在不断打磨自身产品能力的同时，积极与云上产品、以及生产力软件钉钉深度联动，使数据分析能力普惠到各个垂直领域的消费者，这与领导者象限的 PowerBI 的战略具有一致性，我们有理由相信，Quick BI 还能走的更远。