天弘基金交易数据清算从8小时缩至1.5小时解决余额宝算力难题

天弘基金作为国内总规模最大的公募基金，阿里云MaxCompute为我们构建了企业级一站式大数据解决方案。MaxCompute对于海量数据的存储、运维、计算能力强大且安全稳定，MaxCompute服务将原本需要清算8小时的用户交易数据缩短至清算1个半小时，同时减少了本地服务器部署压力，在显著提升我们工作效率的同时减少了大量开发成本和人力成本，使我们能更专注于业务发展，为用户提供高品质、高价值的金融服务。

背景：
随着余额宝用户数持续呈指数级增长，数据量也成倍增长。在这种情况之下，已经无法通过简单的hadoop集群进行数据的管理工作，而业务端面临需要通过数据了解用户、分析行为进而对业务决策和用户行为进行精准预测。基于这些业务的需求驱动需要一个大数据平台来承载，我们在对稳定性、成本、自身能力和复杂度等进行综合考量后，决定采用当前最流行和最成熟的云平台·阿里云MaxCompute。

目标：
搭建大数据平台从技术指标的角度是数据存储和数据计算两大目标，而从各个业务环节的角度看是数据采集、数据清洗、在线/离线分析与预测、实时/非实时查询。而业务目标是为了能够快速响应业务需求，能够为业务分析提供稳定的开发和建模平台，为业务提供逻辑清晰和灵活便捷的可视化平台。从而实现从数据支持业务到数据驱动业务的逐步升级。

解决方案及架构：

整个架构都是搭建在阿里云上的，该架构是成熟的三层架构：采集层+整合层+应用层。

采集层：
采集层对接了我们几乎所有的业务，采集数据的频率有实时的、分钟级、小时级、日级、月级，支持不同的采集频率，而且这些都是灵活可配置的。将采集的数据通过企业级的数据交换平台进行存储和交换，该平台使用OSS实现。通过OSS可以实现数据的中转、分发和备份存储。

整合层：
在MaxCompute整个整合层包含了五大区：缓冲区、ODS区、整合区、主数据和汇总区。不同的区域为了实现不同的功能，缓冲区是为了在正式进入数仓应用数据模块之前进行数据质检，满足质检后方可进行真正的加工处理，避免因为数据错误污染整个数仓的数据；ODS区是为了保留源系统格式的数据模块，一方面能够在有问题时追根溯源，另一方面能够满足部分业务的需要；整合区是数据仓库的核心区域，通过主题建模的方式进行数据的模型化处理，使得数据的解释口径具有统一性；主数据则是与业务结合比较紧密的主题数据，这样更方便业务方的使用；汇总区则是提前将需要预加工统计的数据进行统计计算，避免多次开发计算带来的时间成本、开发成本和计算成本等。

应用层：
应用层主要是通过监控、管理看板、报表等可视化系统给业务提供直观的数据呈现，从而为业务的决策提供更加有力的数据支撑。在应用层通过RDS、ADS、HBase等不同的产品满足了不同的需求。

对于数据仓库来说是一个比较复杂的系统，需要很多配套的系统辅助才能做好这样的项目。而其中很多系统在MaxCompute、DataWorks中都已经产品化，大大的简化了大数据平台的搭建和运维，提供了一站式的解决方案，而且通过阿里云MaxCompute、Dataworks能够实现敏捷开发、快速响应、轻量化运维、低成本的实现大数据平台架构。其中包括最核心的调度系统、权限管理、元数据管控、数据安全保护伞等等一系列功能。而在使用中，数据分析师能够快速上手完成数据的加工和分析。

业务价值案例：

收益王者：
收益王者产品帮助广大用户追踪头部用户的交易行为，使用用户自身数据来影响用户心智，满足了用户的窥私欲、攀比欲。该产品为用户提供了投顾化的数据服务，为公司提升了用户粘性及交易转化，在2018年实现销量数亿元。在开发过程中，MaxCompute帮助我们快速、精准地处理海量用户交易数据，为该产品数据的准确性、稳定性、及时性提供了有力的保障。

产品AI推荐：

我们根据用户自身属性、交易行为、资产属性以及与他类似的用户的产品关注和交易行为，预测每位用户当前最感兴趣的基金。产品AI推荐与传统的仅从市场出发的产品推荐不同，我们从用户的角度，根据用户的行为数据，做出千人千面的产品推荐，提升了用户体验，并提升了交易转化率。在特征加工、模型开发、预测结果投入使用的过程中，Dataworks为我们提供了整套技术架构，包括算力强大的MaxCompute、组件丰富的PAI机器学习平台以及ADS、RDS等产品，满足了我们各方各面的需求。

欢迎加入“MaxCompute开发者社区2群”,点击链接申请加入或扫描二维码
https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745

原文链接
本文为云栖社区原创内容，未经允许不得转载。

天弘基金交易数据清算从8小时缩至1.5小时解决余额宝算力难题相关推荐

数据分析师不能不知道的5种数据分析方法，解决90%分析难题！
网上介绍了那么那么多的数据分析方法,但不同的数据分析方法使用场景不同,A常用的B不一定常用. 所以这篇只介绍5种基于逻辑层面的,几乎人人都会用的数据分析方法. 先来分享一下数据分析6大步骤: 按照这6 ...
亲历惊心48小时抢救35亿交易数据
亲历惊心48小时抢救35亿交易数据内容导航: 噩梦开始,35亿交易记录不翼而飞四处支援,各路神仙爱莫能助紧急预案,又出节外生枝柳暗花明,35亿交易数据失而复得后记:噩梦方醒不忘经验教训 IT ...
技术图文：如何利用 C# 爬取 ONE 的交易数据？
投资一个金融产品,最基本的就是拿到这个金融产品的交易数据,对这些数据进行可视化来判断趋势.去年,我在听李笑来讲区块链的课程上知道了 BigOne 这个由 INB 投资的交易所,而 ONE 是 Bi ...
POS机刷卡跨行交易的清算方式
POS机刷卡的参与方比较多.以你在星巴克刷卡为例: 持卡人--你发卡行--你办这张卡的银行,我们假设是工行商户--星巴克,我们假设星巴克的账户开在建行收单行--星巴克的刷卡机的归属银行,假设也是 ...
图解大数据 | 综合案例-使用Spark分析挖掘零售交易数据
作者:韩信子@ShowMeAI 教程地址:http://www.showmeai.tech/tutorials/84 本文地址:http://www.showmeai.tech/article-det ...
数据分享|基于Python、Hadoop零售交易数据的Spark数据处理与Echarts可视化分析
分析师:Enno 案例数据集是在线零售业务的交易数据,采用Python为编程语言,采用Hadoop存储数据,采用Spark对数据进行处理分析,并使用Echarts做数据可视化.由于案例公司商业模式类似 ...
五分钟了解支付、交易、清算、银行等专业名词的含义？
五分钟了解支付.交易.清算.银行等专业名词的含义? 1. 支付类名词 01 支付应用 02 支付场景 03 交易类型 04 支付类型(按通道类型) 05 支付类型(按业务双方类型) 06 支付方式 0 ...
量化必读：Tick数据到底是什么为么难找到可靠交易数据？
转量化必读:Tick 数据到底是什么?为什么很难找到可靠的交易数据? 一.什么是Tick Data Tick Data本身并不神秘,就是交易所把每只股票(亦或是futures options)的ac ...
爬了20W+条猫咪交易数据，它不愧是人类团宠
作者 | 叶庭云来源 | 修炼Python 头图 | 下载于视觉中国前言看到可爱的猫咪表情包,总是会忍不住收藏,晒部分图如下: 认识的一些朋友也养了猫,比如橘猫.英短.加菲猫之类的,看他们发朋友 ...

天弘基金交易数据清算从8小时缩至1.5小时解决余额宝算力难题

天弘基金交易数据清算从8小时缩至1.5小时解决余额宝算力难题相关推荐

最新文章

热门文章

天弘基金交易数据清算从8小时缩至1.5小时 解决余额宝算力难题

天弘基金交易数据清算从8小时缩至1.5小时 解决余额宝算力难题相关推荐

最新文章

热门文章

天弘基金交易数据清算从8小时缩至1.5小时解决余额宝算力难题

天弘基金交易数据清算从8小时缩至1.5小时解决余额宝算力难题相关推荐