Hubble数据库x某股份制商业银行：一款混布数据库的“交易+分析”提速之路

数据库是基础软件皇冠上的明珠，是每一家公司业务系统的核心。

互联网的发展催生数据库技术变化日新月异。

近年来，混布数据库在银行承载了很大使命：一方面，满足海量数据强交易场景；另一方面，权益类服务也和其他服务一样，需要计时实时处理。

日前，某股份制商业银行发布“大数据平台HTAP集群优化项目”，天云数据国产自研的混布Hubble数据库中标。

01 国产自研的混布数据库为该股份制商业银行银行提供什么服务？

细数下来，今年是天云数据为该股份制商业银行提供服务的第三个年头。

在这三年里，天云数据Hubble数据库先后为其提供了贷中实时监控反欺诈、实时监控人工审查的优化、实时存款余额、指标管理平台功能优化等服务。

该银行大数据平台建设之初，主要侧重为离线计算任务提供算力，随着银行业务的迭代发展，各业务线均在推动精细化分级管理的过程中对系统联动管控的快速响应提出了更高要求。

同时随着近年来业务量的不断增长，部分传统应用系统架构（如PRM实时监控业务）在面对大数据量的场景下无法持续满足业务流程迭代。该银行迫切需要提升客户体验及同业竞争力。
Hubble数据库提供服务后：

实时反欺诈：实现了每天千万级交易数据数据实时并发入库；接近100个复杂欺诈规则分析，毫秒返回分析结果。

实时监控人工审查的优化：复杂类查询平均响应时间为100ms内，数据实时接入平均耗时3.12ms。

实时存款余额查询功能：对一般复杂的查询，百毫秒级的查询响应。

指标管理平台功能优化：将衍生标签接入持续集成，实现了与指标加工、应用加工同样的快速更新迭代。
这次中标“大数据平台HTAP集群优化项目”，Hubble数据库将增加实时数仓和实时特征工程服务。

实时数仓建设：本次实时数仓建设的主要原因是对于数据的实时性越来越迫切，需要有实时数据来辅助完成决策。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，Hubble数据库将助力该银行快速的获取数据反馈、更快的做出决策。

实时特征工程：数据特征会直接影响我们模型的预测性能。我们知道原始数据无法直接进行模型训练，而在金融行业实时风险决策、实时反欺诈等面临着算法模型实时计算的问题，会面临着如何进行特征实时加工的问题。事实上，得到的实验结果取决于你选择的模型、获取的数据以及使用的特征。Hubble数据库需基于业务场景需求选择两种入库方式：对于维度表或ODS域数据，通过kafka+实时入库工具直接入库；对于整合域数据，因为需要执行流数据的计算或转换，故通过kafka+flink方式入库。

Hubble数据库通过将全局事务向本地事务锁进行转换，保证系统的分布式计算一致性；通过资源控制模块，使TP与AP的结合使用。

一款混布数据库，实现银行“交易+分析”的提速之路。

02 为什么Hubble数据库能提供这些服务？

互联网兴起后，应用程序需要每秒支持数十万甚至数百万个事务，每个事务的处理延迟以毫秒为单位。

互联网带来的是是迅猛的数据资源爆发。

数据是流通的副产品，最早的属性是交易数据。互联网驱动行为数据的爆发，行为数据需要靠高并发、高扩展、更松耦合的高服务能力来支撑完成。传统数据库难以支撑。

在技术新世界里面，我们很少看到Google宕机，因为它不是靠高可用性来保证，而是靠整个服务的容错。

行为数据中诞生了新的架构，催生分布式架构。能够统一支撑事物处理和工具负载分析的数据库成为必须刚需。

Hubble数据库之所以能实现是在设计之初就考虑了向上兼容性以及场景的复用，以抽象存储层、抽象计算层、抽象资源管理作为基础支撑，通过Hubble AP、TP的混合存储以及混合计算引擎，来支撑上层逻辑计划成为了可能。

我们知道，业务场景分为两种模式，面向联机事务交易(OLTP)和面向联机分析(OLAP)。

不管是关系型数据库还是图数据库都可以分为上面的两层业务逻辑。

如果TP、AP业务在场景上是统一的，那么数据存储上就可以向上做兼容，满足同样的场景。

03 天云数据：数字原生一站式服务平台

当数据成为生产资料，AI成为生产工具，AI的产业化落地成为生产逻辑之时，数字经济时代已经全面展开。

但与此同时，支撑智能时代的基础设施技术需要升级跨越。当数据成为生产资料，智能成为新的生产力，人工智能原生数据库即AI-Native数据库将更好地放大一切商业模式，成为各行各业的基础设施。

天云数据Hubble数据库未来计划通过逻辑计划融合SQL、Graph、ML等实现AI-Native数据库，重新定义数据基础设施。

但将人工智能真正转变成现实的生产力，离不开认知智能的转化应用。

人工智能“感知层”技术应用已经普及在人们的日常生活，比如手机上的语音识别、人脸识别、机器翻译等。

而认知智能，涉及语义理解、知识表达、联想推理、智能问答、自主学习等，可以像人的大脑一样对外部的信息进行加工、理解，对知识进行推理，进而使机器理解外部世界。认知智能的发展将使大量繁琐且重要的工作变得更加高效精准。

Forrester作为全球领先的独立研究咨询公司之，致力于‘启发思考，引领变革’。在其魔力象限图上，将天云数据作为人工智能“认知层”第一象限公司与“感知层”企业并驾齐驱。

在数字经济下，我们消费的数据也反哺给了我们，产销合一，数据的消费者即生产者。

天云数据AI产业化落地，核心价值体现可以用一个判别式来形容即Y=f(x)。

唯有基础设施足够强大，唯有实现从“工具”到“能力”的蜕变，才能支撑起新的经济帝国。