中信建投X袋鼠云：实时数仓，证券机构的“速度与稳定”
近年来，《政府工作报告》多次提及“数字经济”，今年更是以独立篇章，详细解读和明确了如何“促进数字经济发展”。数字经济的全产业推进，为金融业带来更多元场景和更高服务要求。其中，随时随地的交易发生场景，要求金融机构必须具备更及时的响应能力。
众多金融机构在积极推行数字化改革，以适应时代高速革新。中信建投，是其中极具讨论意义的一家。
中信建投证券成立于2005年11月2日，是经中国证监会批准设立的全国性大型综合证券公司。2016年12月9日，中信建投证券在香港联交所上市，股票代码6066.HK，公司A股于2018年6月20日在上交所主板上市。公司具有行业领先、均衡全能的投资银行业务，连续8年保持行业前3名；具有产品丰富且富有竞争力的财富管理业务，公司拥有900万证券经纪业务客户，托管证券市值4.31万亿元，位居行业第2名。累计完成超过8,000单股票及债券主承销项目，主承销金额超过5万亿元，累计完成股票基金交易量超过80万亿元。凭借高度的敬业精神与突出的专业能力，中信建投证券主要经营指标目前均位居行业前10名。
时间就是空间，这句话高度适配金融业。时间差造成信息差，而这些信息差可能让人从财富自由到一无所有。简单来讲，先知道信息的一方，就会获得更大的判断空间，从而提升投资行为的准确率。相对地，信息滞后会压缩投资者判断空间，继而错失投资机遇。
作为头部证券公司，中信建投需要提供更具竞争力的信息服务。为回应市场对信息及时性的迫切需求，中信建投找到了袋鼠云，双方合作打造出支撑各项业务和服务高质量提升的实时数仓。
那么，中信建投和袋鼠云打造的实时数仓做到了什么呢？脱离需求谈创新，都是伪需求，我们就从实在的需求侧，解读实时数仓的强劲能力。
｜01 实时数仓，如何帮助投顾业务提升？
金融场景描述之前，先看一个经典的销售故事：把梳子卖寺庙，让不需要的人购买推销的商品。三观暂且不论，这个理论放在物质极大丰富、公众拥有更多选择的当下，可能不是挑战，而是挑衅了。
聚焦金融领域，投顾们最常见的问题，是推荐的产品和客户真实需求之间的差异。这就要求投顾们能调整产品策略。
试想投顾没办法及时了解这个差异点，不断延续错误的投顾策略，势必会造成更大损失。此时，实时数仓就可以发挥作用了。
“针对开盘时间将数据供给内部人员查看的特点，开启实时任务的启停策略，将更多的资源留给夜间跑批的任务来使用；针对数据准确性要求很高的特点，通过夜间离线跑批的方式对数据进行修正，以保证数据的准确性。”中信建投金融实时数仓项目负责人刘成龙介绍。
相比通过页面触发存储过程来读取数据，会造成分钟级别的延迟，实时数据加工方案通过实时推送客户新增、追加、签约、保有、签约率、规模等维度的指标，让业务部门可以更高效地掌握核心数据。
当然，我们更理性地去分析，促成业务提升，需要服务者看到自己获益。业务人员及时获悉自己的业绩指标，是更直接的鼓励。这也是中信建投实时数仓的另一个场景。
此前，投顾等业务人员需要隔天才能拿到前一天的数据，在开盘前，核对业绩指标，并对数据进行总结和分析，然后制定新的计划。
实时数仓则可以收盘之后，实时将销售业绩等数据传给业务端口，让他们更快完成当天数据分析，提高时效性的同时，也能让业务人员被更及时地激励。
｜02 实时数仓，让不可控“突发”成为可控的机遇
瞬息万变是金融行业避无可避的标签，谁能更好应变，谁就能脱颖而出。过去，金融机构很难及时发现客户的资产分配变更，并及时应对这一情况。实时数仓，让二次营销和客户挽留等成为了可能。
以两融业务场景为例，当客户有大额转入转出时，金额过大超出一定值，信息就可以推送给相关人员。例如，客户大额转出时，客户经理及时回访客户情况，以便做出挽留；客户大额转入时，客户经理提醒客户理性投资。通过及时沟通，提升客户投资体验。
关于客户体验提升，还有另一个“虽小但重要”场景值得介绍。客户开户其实是一个比较繁琐的过程，在填写过程中，很容易由于信息填写错误等原因发生中断。实时数仓识别到中断时，会及时通知客户经理，以便安排对客户的专属支持。
据刘成龙介绍，实时数仓的应用场景不止于此，还有更多发挥空间。例如，实时数仓未来规划内的风控场景。实时数仓可以实时管理账户的风险指标，当账户做出一些违规操作时，及时处理，保证金融合规立竿见影地被实现。
｜03 实时资讯让信息公平，让投资共赢
金融机构的本质是推动全社会的正向循环，而不是零和博弈。所以，金融机构是让客户获得更明确信息的媒介，实现投资共赢。为此，中信建投和袋鼠云大力推行实时资讯，帮助投资者获得更全面、准确且快捷的金融信息，从而获得普世性成功。
为了保证快且准，双方的实时资讯采用了多元数据交叉检验，即实时对足够多的信息原始材料进行交叉检验，智能识别出差异点，及时发出提醒并纠错。
为何中信建投和袋鼠云要做多元数据交叉检验？我们需要了解当下金融信息的结构。
金融机构不是第一信息源，信息是由Wind、Choice等资讯数据商收集整理后，对接给金融机构，然后再推送给客户。
数据商可能是以爬虫采集、人工录入、数据接收等方式得到数据，多样的数据种类和环节导致了数据质量参差不齐。如果没有校验就发布，容易造成推送给客户错误信息。若为确保准确性，需要所有信息整合后再发布，但离线或准实时的开发模式，会造成分钟级延时。而这几分钟的延迟就会让客户从飘红变得绿油油，造成损失或错失交易机会。
实时资讯为这件事情提供了完整的解决方案。“我们利用了Flink的窗口特性，开发了用于校验的实时校验窗口，聚合所需要校验的指标，在时间和数量维度上触发校验窗口计算，结果输出到 Kafka，支持消息实时推送。”中信建投金融资讯数据研发工程师蔡跃介绍。
以炒股最常用的F10场景为例，我们来看下实时资讯的工作流程。实时F10为客户提供了更全面和及时的信息支持，例如，客户关注公司有突发信息发布，可以及时被他掌握，从而做出更精准的投资决策。
蔡跃介绍了实现实时F10的技术逻辑，他表示：“数据处理方面，利用Flink高效的 ETL 能力，引入了高时效性要求的资讯数据处理场景，同时Flink作为流式计算引擎，天然和 Kafka 集成，可以无缝对接，具有直接输出消息到 Kafka 能力的系统，如新闻标签系统。同时 Redis sink 的支持也使得原有的缓存程序、业务逻辑可以整合到Flink中统一实现。最终使整个资讯数据处理过程得到集中管理，缩短链路，节约了传输时间。”
简单来类比，Flink就像是聚会里的社交达人。他来之前，大家因为彼此不熟悉，都只跟认识的人沟通，整个场子的气氛就有些低沉。等社交天花板来了，他各处穿针引线，场子立刻就热络起来，交流效率直接飙到顶。
稳增长的政策主线以及防风险的任务，将贯穿2022年的金融市场。中信建投和袋鼠云在实时数仓的应用，从企业内部到客户端，都让突发变得更可控，可控的内容更高效，为市场提供了更多稳定性和确定性，因此我们认为这次探索积极意义超出期待。
而实时数仓等前沿技术、金融行业实战能力，也让袋鼠云获得银行、证券、保险等各金融领域客户的选择。本次袋鼠云和中信建投的合作，让金融业务处理时间缩短为“毫秒级”。未来，我们将共同探索“实时”在资产持仓、风控等金融场景中的应用，以数字化能力携手打开金融创新的新征途。
中信建投X袋鼠云：实时数仓，证券机构的“速度与稳定”相关推荐
- 美团买菜基于 Flink 的实时数仓建设
摘要:本文整理自美团买菜实时数仓技术负责人严书,在 Flink Forward Asia 2022 实时湖仓专场的分享.本篇内容主要分为四个部分: 背景介绍 技术愿景和架构设计 典型场景.挑战与应对 ...
- 首次公开！阿里巴巴云原生实时数仓核心技术揭秘
简介:揭秘Hologres的核心技术优势 4982亿,是2020年天猫双十一成交额最终定格的数字.在这背后,是人类历史上最大规模的人机协同,更是数字世界史无前例的巅峰挑战.阿里云新一代云原生数仓Hol ...
- 云原生实时数仓首次在2020双11核心数据场景落地
简介: 这是史上数据量.计算量最大的一年,是实时处理要求最高.与机器智能结合性最强的一次双11,也是全球最大规模的一次云原生实践.背后作为数据核心支撑的大数据平台更是创下新的世界纪录. 刚刚结束的20 ...
- 华为云发布 GaussDB(DWS) 实时数仓，技术创新释放行业数据价值
8 月 31 日,在华为云 TechWave 大数据专题日上,华为云发布了 GaussDB(DWS)实时数仓,工商银行.广东移动.清华大学等分享了大数据技术创新及应用实践. 围绕数据全生命周期提供整体 ...
- 腾讯云原生实时数仓建设实践
腾讯云原生实时数仓建设实践 实时数仓面临的挑战 实时数仓被广泛应用于腾讯各大业务,涉及的平台众多,从统计信息中可以看出,集群规模庞大,数据量极大. 复杂的使用场景和超大的数据量,导致我们在实时数仓的建 ...
- 亚马逊云科技Serverless构建的实时数仓解决方案，助力猎豹降低30%成本
也许你也听过这样一句话:"21世纪什么最贵?人才!"当数字经济全面席卷而来,这个问题的答案不可置否地变为了"数据".通过数据分析获取近乎实时的洞察,以驱动业务的 ...
- 基于亚马逊云科技 Serverless架构的实时数仓架构
近年来,各级政府和企业响应数字化转型的号召,都已开始或者即将开始数字化转型.各类企业通过前期的业务线上化.信息化,积累了大量数据,而数字化转型就是要聚合这些数据,进行深入挖掘分析,用数据来驱动业务,用 ...
- 菜鸟实时数仓2.0进阶之路
导读:供应链物流场景下的业务复杂度高,业务链路长,节点多,实体多,实时数仓建设难度高.菜鸟跨境进口业务场景更是如此,更复杂的场景带来更复杂的实体数据模型,对接的业务系统多导致ETL流程特别复杂,还有海 ...
- 菜鸟实时数仓技术架构演进
分享嘉宾:贾元乔 菜鸟 高级数据技术专家 内容来源:Flink Forward ASIA 出品平台:DataFunTalk 导读:在开源盛世的今天,实时数仓的建设已经有了较为成熟的方案,技术选型上也都 ...
最新文章
- 端到端对话模型新突破！Facebook发布大规模个性化对话数据库
- 总结 | 机器学习的通俗讲解！
- 剑指offer之python实现
- 做一个”合格“的程序员(二)——学习管理
- PowerShell: 详解Windows10常用的PowerShell高级任务
- 零钱兑换Python解法
- 修改shape数据 小数位数_【数据管理】Excel实用精华
- arm export 汇编_C/C++与汇编混合编程有什么好处？
- 高效排错系列--摘要
- 2021-06-10 JUC01DAY
- linux find内容替换,利用find和sed批量替换文件内容
- SaaS vs 低代码，谁在成为中国产业服务的楔子？
- 103.网络安全渗透测试—[权限提升篇1]—[Linux内核漏洞提权]
- 计算机中imb二进制数,计算机基础知识总述.doc
- 【iOS】高德地图SDK的详细使用
- 准确率，召回率，mAP，ROC，AUC，特异性，敏感性，假阴性，假阳性
- 【C++】编程实现复数运算
- Arcgis学习1：arcgis下载and画一个省份
- HDLBITS笔记34：Lemmings1、Lemmings2、Lemmings3、Lemmings4
- CSS+DIV-设置图片效果