天云数据五度蝉联Fintech50强 Hubble实时流计算完胜Flink

2021年1月18日，毕马威2020中国领先金融科技企业评选发布会在京举行，会上公布了“2020毕马威中国领先金融科技企业名单”。2016年至2020年，毕马威五次推出TOP50榜单并获得业界广泛关注，这也是天云数据第五度蝉联50强榜单。

毕马威中国的评选标准一直以领先的科学技术应用与突破、数据驱动、模式创新和对传统金融的颠覆、痛点解决与金融效率提升度、估值及资本市场认可以及未来发展潜能与广阔前景六个维度持续贯彻，但每年也会有一些新的不同。毕马威2020会更侧重于科技对于金融机构业务的推动。

近些年在金融风险方面出现诸多痛点问题，如信用卡欺诈、交易欺诈、网贷申请欺诈等。金融实时反欺诈和复杂的权益服务，都需要对客户的全生命周期的数据进行复杂的统计和分析。

大数据兴起之初，Hadoop并没有给出实时计算解决方案。随后Storm、SparkStreaming、Flink等实时计算框架应市而生。六年前提起实时流式计算大家会想到Storm，三年前提起大家会想到Spark Streaming，去年提起那无疑是Flink了。

如此可见，技术世界的迭代是飞速的。

试想以下场景，如果没有高并发实时流式计算系统，公司会损失多少MONEY：

需要实时异常检测的欺诈/风控等系统
需要实时查看交易额的交易系统
需要实时计算点击/计算分成的广告系统
需要实时更新用户标签的实时用户画像系统
需要实时根据用户喜好推荐商品的实时推荐系统
再试想以上场景，如果核心技术不是国产自研的，信息交易风险会有多高？

天云数据十余年深耕在分布式计算领域，自主研发的HTAP 数据库HUBBLE 在高并发实时流升级完成了Flink不能处理更多事实表的金融反欺诈和复杂权益服务。

高并发、实时流两个业务场景都对时效性要求特别高，几乎是需要毫秒级返回数据处理结果。Flink是流计算、批处理一体的计算框架，因此其自身不存储业务数据，输入数据需要依赖Kafka、hive等数据源。而Flink接口层只支持SQL，不支持通过JDBC/ODBC协议调用，需要通过Flink特有的API来调用。而且Flink依于计算框架做计算，计算框架本身不会对源数据做任何的优化，因此计算时需要对业务全生命周期的数据进统计分析，时效性可想而知。可以说，Flink自身的架构体系就丢失了很多时效计算的优势。

若将Flink拆开，流计算确实可以支持实时的毫秒级数据处理，但无法满足业务的复杂性；批处理确实可以满足复杂的业务逻辑，但无法满足业务的毫秒级数据处理，而且是不支持并发的。但这不符合市场业务的需求。

已有产品的不完善、业务市场的迫切需求都给了Hubble数据库走进高并发实时流式计算的契机。Hubble利用AI算法的优势，实现Hubble数据库分层设计。在数据存储层上,采用基于切片的行式存储、列式存储和KV存储的混合部署模式，在大规模数据同时支持密集AP计算和TP并发场景下, 基于数据切片的混布存储策略可以弹性适应IO特性，快速做库内转换。Hubble数据库可以通过JDBC/ODBC协议来调用，还可以在数据库上创建索引，在高并发大规模数据下完全可以毫秒级响应，更好的满足业务场景。

Hubble产品在某大型股份制银行信用卡业务系统上线后，经过银行业业务专家进行应用测试：在实时反欺诈场景中：实现了每天千万级交易数据数据实时并发入库；接近100个复杂欺诈规则分析，毫秒级返回分析结果。

值得一提的是，作为原创国产数据库Hubble在中国电子工业标准化技术协会信息技术应用创新工作委员会指导的全国首届信创信创产业生态大赛中获得一等奖的荣誉。

当下人类正在进入智能时代，数据已成为新的生产要素，数据库将成为金融、政府、公安、军政等国家命脉行业基础设施的支柱。近些年发生的“微软黑屏门”、“微软操作系统停更”、“棱镜门”等安全事件，敲响了我国 IT 产业的警钟，中国必须建立基于自己的 IT 底层架构和标准。就数据库产品而言，要想从根本上把握住国产数据库的“命门”就要自主设计研发。加持国家政策的支持，信创产业的推动，原创一定是国产数据库的最终宿命。

天云数据五度蝉联Fintech50强 Hubble实时流计算完胜Flink相关推荐

天云大数据_天云大数据三度蝉联毕马威领先金融科技50强
2019年1月,毕马威2018中国领先金融科技企业颁奖礼在京举行.这是毕马威第三次开展中国领先金融科技企业50年度评选,2016年及2017年,毕马威两次推出中国领先金融科技企业50名单并获得业界广泛 ...
大数据实时流计算详解
开篇词-攻克实时流计算难点,掌握大数据未来我曾任职于华为 2012 实验室高斯部门,负责实时分析型内存数据库 RTANA.华为公有云 RDS 服务的研发工作.目前,我专注于移动反欺诈解决方案的研发. ...
什么是大数据「实时流计算」？深度解析它的4大应用及4个特点
导读:火灾已经爆发后才知道救火,交通已经阻塞后才知道疏通,羊毛已经被"羊毛党"薅光后才知道堵上漏洞,股价已经拉升后才知道后悔--为什么我们不能在这些事情发生之前,或者至少是刚刚发生 ...
铸造数据安全堤坝，华为云数据灾备解决方案就是强
大数据时代,企业数据安全与业务连续性仍面临多样挑战.特别是随着企业数字化转型升级的加速,数据内容的海量增长,给企业的数据安全保护带来了新的要求.根据ICD数据统计,美国在2000年以前的十年间发生过灾 ...
数据分析小结：使用流计算 Oceanus(Flink) SQL 作业进行数据类型转换
作者:吴云涛,腾讯 CSIG 高级工程师在这个数据爆炸的时代,企业做数据分析也面临着新的挑战, 如何能够更高效地做数据准备,从而缩短整个数据分析的周期,让数据更有时效性,增加数据的价值,就变得尤为重 ...
哈佛大学搞出声波传数据芯片，抗干扰能力更强，适用于量子计算等新兴领域...
Pine 发自凹非寺量子位 | 公众号 QbitAI 现在,在芯片中也可以用声波传输数据了. 看到这里你可能会疑惑: 光学芯片不是还在发展中,怎么又出来个声学芯片? 其实,声学集成电路一直都在发展 ...
华为云-实时流计算服务CS
1. CS服务说明具体可以参考官网 https://console.huaweicloud.com/cs/?region=cn-north-1#/dashboard ,根据我的学习了解,CS服务提供 ...
【云原生 | 31】Docker运行实时流计算框架Apache Storm
作者简介:
达观数据签约中国资本最强信托企业——平安信托
近日,达观数据签约中国资本实力最强的信托企业--平安信托,以人工智能技术提高中国金融企业的智能化能力. 平安信托--中国最具影响力的信托企业平安信托成立于1996年4月9日,是中国平安保险(集团)股 ...

天云数据五度蝉联Fintech50强 Hubble实时流计算完胜Flink

天云数据五度蝉联Fintech50强 Hubble实时流计算完胜Flink相关推荐

最新文章

热门文章