调研了32家银行，总结出了银行BI大数据平台建设的一套模式
传统来讲，银行定制一张报表，分析某个业务数据，主要通过业务部门提出需求，科技部门编写程序来实现。从提出需求到科技部最终开发完报表，中间存在反复的口径沟通、试验取数的过程。一张报表，从考虑排期问题，提出需求，到最终完成快则一两周，慢则几个月。
传统数据分析平台遇到的问题如下：
- 数据分析流程冗长。业务人员对任何已有报表的调整需求，都要严重依赖IT人员重新开发并发布，流程复杂，效率低下。
- 报表查询变慢。随着数据量增加，已有的业务报表查询时间越来越长，单个报表查询长达数分钟。
- 非结构化数据分析难。对系统日志等非结构化数据的分析需求难以实现，无法快速满足新兴业务场景。
- 原平台扩展性差。原有数据仓库的性能遇到严重瓶颈，可扩展性极低，受制于国外厂商，成本高昂。
- 严重依赖IT。大量IT资源被浪费在重复性的工作中，无法释放出来使能新技术、新平台以支撑快速发展的新业务。
国内某顶尖银行也曾遇到过这个问题，那他们是怎么解决的？
- 把明细宽表他们可理解的数据，给到业务部门，交由业务人员自助探索分析。
- 基础查询类报表：来自于基层业务和日常工作，功能作用于某一项具体的工作，比如销售业绩查询、商品库存查询、在途库存查询、采购订单查询等，形成固定类目的查询报表，用户在工作需要时，会通过查询此类报表，来得到自己想要的数据，以支撑自己的工作。
基于以上原因，搭建一套大数据分析平台，支持快速灵活、交互式、探索性的数据查询和分析，让业务人员使用简单拖拉拽操作就能够完成日常的数据分析工作，才是解决问题的根本。
在搭建数据自助查询平台时，涉及技术架构、数据模型和BI工具选型三方面，在这里以国内某顶尖银行的大数据平台为例，和大家讲一讲。
1.技术架构：
是三方面中相对比较容易的，并不是说架构这个东西简单，而是因为以目前市面上的技术实现起来不难。不知题主目前是否有较为完善的数据仓库？如果没有，则需要搭建一个收集业务数据，并对数据进行加工的环境，用Hadoop就可以了。
对于大体量内外部数据的高度自由的实时查询，需要有可靠的底层数据处理平台的支撑。从经济成本和未来数据的非线性增长趋势的角度分析。设计的架构时，传统的交易系统运用关系型数据库处理OLTP事务操作，产生的交易数据通过异构数据的批量复制方式或消息队列的准实时方式更新至Hadoop平台，Hadoop平台可以进行大体量数据的分析和挖掘，并提供基于大数据的应用系统实时检索的模式。有了数据仓库之后，数据就可以按照数据模型进行加工。
2.数据模型
是三方面中最难的部分。原因是数据模型牵涉面最广，涉及到业务结构、数据标准化、指标定义等多方面，而每一方面又很难有客观的标准，随着时间的变化都会不断变化，可以说，数据模型的好坏直接决定了这个项目的成功与否。
持续整合核心系统、信用卡系统等几十个业务的交易数据、账户数据和客户基础数据，建立数据标准和数据治理体系，开发风险数据集市、监管报送集市等多个内部数据集市。行外引入包括监管部门的客户风险预警信息、环保不达标信息、公共媒体负面信息等19项外部数据源，几千项外部数据字段，并运用网络爬虫技术和命名实体识别技术，抓取公共网络媒体舆情信息，形成海量的外部数据集市。
通过在大数据平台上整合行内与行外数据，线上与线下数据，结构化与非结构化数据，有效解决了传统银行普遍面临的“信息孤岛”问题。在数据整合的基础上，利用智能化大数据分析工具进行各类数据的统计、分析、查询和建模成为可能。
数据模型应该建的尽可能简单，特别要贴近业务结构，具体如何建模呢？主要有三个步骤：
（1）调研业务：包括业务结构和业务期望产出的指标口径，调研方法就是和业务人员泡在一起，从业务目标、业务结构、支撑业务的系统、到业务报表、指标口径都要详细了解。其中最重要的当属业务结构和指标清单（含计算逻辑）。
（2）调研数据：根据支撑业务的系统清单，挨个调研每个系统所产生数据的数据结构、更新方式、数据质量等等，如果题主有比较完善的数据仓库，那么这些材料都可以从数据仓库团队要到。
（3）建模：根据前两步掌握的信息，按照业务结构建立数据模型，这里不过多赘述。
3.BI平台选择
银行业务系统众多，对于数据分析平台的维度要求就很高；数据量大，就需要大数据平台有很强的敏捷性，能在几秒之内对海量数据做出反应；要解决业务自助取数，自助分析，这里需要一个自助式BI平台。
市面上的BI工具那么多，国外的powerBI，Tableau，国产的自助式FineBI等，我该去怎么选择呢？
这几个处理数据的能力都非常出色，Tableau功能非常强大，但也过于强大，以至于业务用户很难上手，不是简单的拖拉操作可以驾驭的。
这里我推荐FineBI，我还特地为它做了一张图哈哈哈哈，因为是真的很好用，上文提到的国内某顶尖银行也是基于FineBI去开发的，同时据我了解，国内大多数银行都在使用FineBI。
顺便提一下，前两个国外产品，就我使用的过程中出了问题找不到任何解决办法，只能靠自己摸索，费时费力，FineBI有自己的帮助文档，绝大多数问题都可以找到答案，甚至还有技术支持随时待命，体验非常棒。
IT人员和业务人员共同定制好业务可理解的主题包（这里IT人员直接将数据按业务按主题准备在FineBI的业务包中），可以将数据由业务人员自行设计报表。
通过这种方式进行统计分析，在定制数据包的基础上由业务人员自主查询数据，所见即所得，在数据查询、统计的过程中分析，可以大大提高工作效率。搭建这个系统之外，他们还做了一件事，就是在各个业务条线培养具有数据分析挖掘能力的人才，解决日常工作中的数据分析难题。
以客户在银行办理业务的行为路径，可以有这样几个主题，不同主题有对应的场景及其指标，使用FineBI即可做到精确分析。
搭建一个数据平台可能是项目制的工作，在一段时间内会完成，但是搭建数据分析体系这件事却任重而道远。但是如果有人能在做产品的同时，将金融行业同类的数据应用经验也分享给你，帮助你去搭建数据分析体系，那就是真正的“良药”了。
调研了32家银行，总结出了银行BI大数据平台建设的一套模式相关推荐
- 银行抢占大数据平台 挑战阿里小贷模式
当基于大数据之上的互联网金融开始蚕食传统金融业务时,后者也不愿坐以待毙.即民生.工行等多家银行推出电商平台后,1月10日,中信银行联合银联商务在广州共同推出"POS商户网络贷款"业 ...
- 银行大数据平台建设方案(图文)
来源:方案经理 选编:秀方案网 https://www.fangan100.com/fangan/1213.html 互联网金融的本质是金融,核心是数据,载体是平台,关键是客户体验,发展趋势是互联网与 ...
- 【SDCC讲师专访】吕毅：链家网大数据平台的架构演进
2016年11月18日-20日,由CSDN重磅打造的年终技术盛会,SDCC 2016中国软件开发者大会将在北京举行,大会面向国内外的中高端技术人员,聚焦最前沿技术及一线的实践经验,从而助力企业的技术升 ...
- 开源技术、开放使用、业务导向的大数据平台，助力银行数字化转型
随着技术的高速迭代,金融科技企业早已不再是简单的金融+互联网模式,而是在大数据.人工智能和云计算加持之下逐渐进入下半场. 飞贷金融科技作为国内首家覆盖业务全流程.运营全体系的移动信贷整体技术服务商,通 ...
- 解决计算治理问题，详解微众银行大数据平台中间件Linkis架构和应用
7月9日,由微众银行(WeBank)开源的一站式金融级大数据平台套件WeDataSphere(WDS),举办了第二期开发者社区的线上meetup,来自中国电信天翼云.艾佳生活.MobTech等WeDa ...
- 第一家线下场景大数据平台Anchor-Point诞生
近日,由衍合数据主办的"<Anchor-Point线下场景大数据分析平台发布会"在上海隆重举行.近80位媒体广告行业和数据研究龙头齐聚一堂,见证中国第一家线下场景大数据平台的 ...
- 市场调研——数据来源、大数据平台、数据统计
作者:简道云 链接:https://www.zhihu.com/question/27798279/answer/246385085 来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转载 ...
- 10年大数据平台经验，总结出这份数据建设干货（内含多张架构图）
在业务增长过程中,每个企业不知不觉积累积累了一些数据.无论数据是多是少,企业都希望让"数据说话",通过对数据的采集.存储.分析.计算最终提供对业务有价值信息. 由此,大数据平台.数 ...
- 调研了10家公司的技术架构，我总结出了一套大数据平台的套路
近年来,随着IT技术与大数据.机器学习.算法方向的不断发展,越来越多的企业都意识到了数据存在的价值,将数据作为自身宝贵的资产进行管理,利用大数据和机器学习能力去挖掘.识别.利用数据资产. 如果缺乏有效 ...
最新文章
- DotNet关键知识点——WCF篇（六）
- 软件测试理论你知道多少？
- 上传一份个人学习struts2的历程笔记
- 初识前端——个人总结
- resolve fire在SAP UI5中的使用场景
- 高等数学下-赵立军-北京大学出版社-题解-练习10.4
- SQLServer 事物与索引
- C++学习之路 | PTA乙级—— 1009 说反话 (20分)（精简）
- ThreadLocal和InheritableThreadLocal使用
- PyTorch的Tensor（张量）
- 用户空间文件系统(FUSE)
- ViewPager+Fragment实现支持左右滑动的Tab
- java字符串型断言消息_Java断言
- 计算机二级教程第十章答案,2012年计算机二级VFP考试第十章课后练习题及答案...
- Xcode9 Could not receive a message from the device
- netty权威指南 微云_Netty权威指南 第2版.pdf
- img在div中居中
- 微信公众号代运营的的技巧有哪些（1）
- 2万字长文盘点五种负载均衡策略
- catia相合约束怎么反向_CATIA(三)——悬架DMU汇总