本文是依据张小虎老师在“数据技术嘉年华”大会演讲整理而来。

(本文 PPT下载,关注公众号回复:2018DTC ,张小虎老师的PPT位于分会场7模块下。

云计算如何改变金融行业

不久前,在由ACOUG云和恩墨主办的2018数据技术嘉年华的金融科技实战分论坛上,甜橙金融分享了其云化变革的成功经验。

对于不少读者来说,甜橙金融可能有些陌生,但是如果提起翼支付,相信很多人都是耳熟能详。除了翼支付这一广为熟知的业务之外,甜橙金融还提供了交费易、甜橙理财、甜橙小贷等全面的金融服务业务。

在高速发展的互联网金融业务背后,甜橙金融后端IT基础设施层面经历了怎样的变革?甜橙金融运维技术中心负责人、技术创新中心负责人兼高级总监张小虎向趣味科技分享了甜橙金融云化变革的心路历程。

甜橙金融运维技术中心负责人、技术创新中心负责人张小虎

从“人肉运维”中,解救崩溃的DBA

甜橙金融以互联网金融业务为主,已拥有支付、财富管理、消费金融、征信、金融云等互联网金融的核心能力。目前,翼支付在国内第三方支付平台中,牢牢占据了国家队第一支付APP的位置。截止今年7月底,甜橙金融整体交易金额超过8000亿。累计用户数5亿,月活用户4000万

但是,仅仅2年前,甜橙金融的数据管理运维还停留在典型的传统企业模式。张小虎介绍,自己在2015年接手管理公司的数据库团队时,整个技术团队还处在“人肉运维”的痛苦挣扎中。

人肉运维”是由于自身的自动化运维能力暂时满足不了业务高速发展,管理模式和效率提升乏力,只能依靠人海战术。

一方面,技术人员冗余。当时运维技术团队规模超过100人,仅DBA这一岗位就超过40人。但依然觉得人手不够,所有团队成员的体验非常一致,又苦又累,疲于应付。比如,数据订正、版本发布等流程繁琐耗时,技术人员应付日常运维已经身心俱疲,更没有时间学习行业最新技术与投入自动化研发。

另一方面,即使所有人满负荷运转,当时的IT数据管理和运维能力也不能满足高速发展业务的需求。

在这样的背景下,甜橙金融从可怕的人肉运维转化为零散的工具化运维,最后达到了心情愉悦的运维平台化,Mozis (墨者)平台甜橙金融云和恩墨共同打造的智能化运维体系,通过提高生产力的方式,彻底改变了甜橙的运维方式。

平台化管理,人更少效率却更高

“现在,运维团队50人左右,DBA人员只有12个。”张小虎自信地介绍,云化改造之后,运维技术中心团队规模极大精简,但运维管理能力和复杂度却是之前的好几倍。

通过对IT基础能力的云化改造,甜橙金融在业务层面构建了以交易、支付、账务为核心的3.0核心平台,甜橙金融所有的信贷、收付、理财、保险、保理等分支业务全部构建在3.0核心平台之上。从平台数据处理能力来看,目前甜橙金融日交易笔数8000万,并发支付处理能力达到每秒1万笔

这些效果的背后,是甜橙金融打造的以华东主机房和华南副机房组成的异地双活架构,并在自研私有云基础上,进行容器与虚机的混合部署

Mozis平台架构

其中,业务需求架构包含了:

基础元数据层维护了所有的数据库底层元数据,包括存储、主机、数据库等日常使用管理信息;

基础能力层解决日常的基础工作,解放dba的工作压力;

业务拓展层高级数据库工作,慢慢形成智能运维体系。

甜橙金融技术创新中心高级总监张小虎介绍,甜橙金融在云化改造过程中有两大难点,第一,是要在最短的时间内,对甜橙金融成立以来的所有金融业务和应用的大梳理。这项基础工作耗费了将近一年半的时间,但是非做不可,而且非常有价值。大梳理之后,甜橙金融的技术团队开始制定标准技术方案,进行运维层面的技术能力整合统一。

Mozis 技术架构


技术方面的设计与实现全部通过开源完成:

前端使用vue架构,前后端完全分离的方式,使得平台扩展性更强,平台结构更加清晰;

后台利用 Django+MySQL完成server端的服务,它提供了一整套web服务方式,使得开发更加快速;

使用celery完成异步任务;

使用redis进行数据缓存;

利用sshansible完成远程主机控制;

使用ANTLR完成SQL审核的词法解析。

这样就为运维、应用、数据的统一管理打下了基础。第二个难点则是在甜橙云的数据迁移和割接期间。这个过程除了对甜橙云的整体技术架构是重大考验外,还需要业务部门的密切配合,才能使得甜橙云整体割接在计划时间内安全完成。

Mozis SQL 审核模块

完成了基础设施平台化,管理自动化,随之解决了一系列的问题。现在DBA的工作可以直接对接JIRA,使得SQL流程更加规范化,体系化;也可以清晰的展现各个平台的工单问题。

Mozis SQL审核模块

通过优化改进,系统进一步实现了:

  • 流程融合:吧JIRA流程和数据订正流程进行融合;

  • 审核权限下发:把SQL审核的权限下发给开发,利用平台把控风险,实现快速反馈;

  • 高级审核:采用ANTLR进行词法分析,灵活可配置审核规则,实现权限把控。

墨者(Mozis)数据库资源概览

在金融云安全方面,甜橙金融对全网主动攻击的识别率已达到99.5%,同时攻击告警也实现了秒级响应。在金融云智能风控方面,甜橙金融则实现了100ms内对实时交易进行风险事件鉴别。

分布式数据库集群

甜橙金融在部分业务采用了 TiDB 作为数据存储,TiDB 是真正的引擎级分布式SQL数据库,有如下优点:

  • 无需分库分表中间件;

  • 应用透明的引擎级分布式SQL数据库;

  • 无需业务妥协的分布式事务支持;

  • 传承单机SQL数据库的友好和易用。


实现联机交易和联机分析 混合计算负载:

1.强大的联机交易(OLTP)能力;

2.实时分析业务支持能力(TiSpark);

3.自动化的混合负载和调度管理;

4.ETL“free”。

便捷的部署运维管理能力:

一键,多场景部署;

在线数据库集群摇摆升级;

便捷的扩容和伸缩;

集成监控告警;

K8s解决方案提供与云平台管理对接能力。

不断向前,甜橙金融开始全面打造『运维大脑』,通过建立基础设施层、运维样本层,完成基础环境构建、基础数据采集,进一步向上,通过不断的算法迭代,构建智能决策中心,对运维进行不断改进,顶层则建立最终的应用级呈现 - 甜橙运维大脑应用层,通过各种应用将运维数据呈现出来,并最终演进到自动运维、智能运维的目标上来。

金融科技的突飞猛进,离不开云计算等基础技术的真正落地。短短两年,甜橙金融对IT基础设施的云化改造,成为企业战略转型的底层技术支撑,也非常值得其他互联网金融企业参考与借鉴。

参考:趣味科技v


资源下载

关注公众号:数据和云(OraNews)回复关键字获取

2018DTCC , 数据库大会PPT

2018DTC,2018 DTC 大会 PPT

DBALIFE ,“DBA 的一天”海报

DBA04 ,DBA 手记4 电子书

122ARCH ,Oracle 12.2体系结构图

2018OOW ,Oracle OpenWorld 资料

PRELECTION ,大讲堂讲师课程资料

近期文章

企业数据架构的云化智能重构和变革(含大会PPT)

Oracle研发总裁Thomas Kurian加盟Google Cloud

变与不变: Undo构造一致性读的例外情况

Oracle 18c新特性:动态 Container Map 增强 Application Container 灵活性

Oracle 18c新特性:Schema-Only 帐号提升应用管理安全性

Oracle 18c新特性:多租户舰队 CDB Fleet (含PPT)

为什么看了那么多灾难,还是过不好备份这一关?

打造运维大脑:翼支付高速发展背后,甜橙金融的云化智能演进相关推荐

  1. 封神系统-运维大脑的日志检测

    简介:封神-运维大脑 | 日志检测工具 1. 背景目标 阿里云应用业务有问题,云平台监控可以发现问题,但并不能定位到问题根本原因,运维大脑监控底层日志,可快速定位问题原因,帮助现场运维同学解决问题. ...

  2. 封神-运维大脑 | 日志检测工具

    简介: 封神-运维大脑 | 日志检测工具 1. 背景目标 阿里云应用业务有问题,云平台监控可以发现问题,但并不能定位到问题根本原因,运维大脑监控底层日志,可快速定位问题原因,帮助现场运维同学解决问题. ...

  3. Grafana+Prometheus打造运维监控系统(一)-安装篇

    1. Prometheus.Grafana介绍 Prometheus是一个开源的系统监控和报警系统,Grafana 是一个开源的监控数据分析和可视化套件,利用Grafana+Prometheus组合, ...

  4. 九年双11云化架构演进和升级,打造更加完美的双11

    摘要: 12月13-14日,由云栖社区与阿里巴巴技术协会共同主办的<2017阿里巴巴双11技术十二讲>顺利结束,集中为大家分享了2017双11背后的黑科技.本文是<阿里巴巴云化架构创 ...

  5. 如何打造运维组织架构?

    前面几周,我们介绍了Netfix为什么没有运维岗位.应用运维标准化.基础服务标准化以及从应用生命周期的角度如何进行运维建设等内容.这一周我们就来聊聊在组织架构和运维 转型方面的话题. Netfix给我 ...

  6. 业务运维:站在企业转型风口上的云智慧

    文:胖头陀 云智慧绝对不是一间大的公司. 尽管在所处的"江湖"里,它已经是响当当的角色,然而毕竟原先的市场领域相对狭小,于是殷晋总会有些使不出力的感受. 殷晋是云智慧的创始人,云智 ...

  7. 开发、运维、业务都说好的全栈云原生长这样

    日前,在"云无边界,架构未来"--2022年F5多云应用服务科技峰会上,灵雀云首席解决方案专家杜东明受邀进行了 " 云原生全栈云建设思路分享" . 他指出, 云 ...

  8. 电厂运维的cis数据_【面向运行人员的电站智能运维管家系统】

    上汽智能运维联合团队 超超临界汽轮机组作为先进燃煤机组在生产过程中对大量设备信号进行监测,各环节的异常对生产运行容易产生负面影响,直接导致经济性的下降.对机组启停运行监测进行优化成为非常重要的一环.本 ...

  9. 资产管理运维一体化 接入IOT、BIM的设备数字智慧化管理

    设备资产是一个公司企业和事业单位的重要经济资源,也是生产.经营和发展的物质基础.随着业务规模扩展和组织发展壮大,企业所拥有的实物资产随之增长且越来越复杂,面对种类多.数量大.价值高.使用周期长.分布范 ...

最新文章

  1. Linux的简单Nginx
  2. 会计的思考(41):会计的领悟—每一位业务骨干都是优秀的管理会计师
  3. 学习笔记Flink(四)—— Flink基础API及核心数据结构
  4. 【269期门诊集锦】iOS游戏开发—2D游戏编程之我见
  5. uniapp 单元测试_单元测试不够验收测试凑,编写验收测试有什么技巧?
  6. CH - 0805 防线(二分+思维)
  7. onlyoffice采坑笔记
  8. Arthas - 开源 Java 诊断工具
  9. Python开发中有可能遇到的套接字重复使用错误
  10. Delphi调用Android的.so文件(转)
  11. 安卓案例:安卓对话框演示
  12. BZOJ 1232 USACO 2008 Nov. 安慰奶牛Cheer
  13. bootstrap table 服务端分页
  14. python计算密集型提速_揭秘Numpy“高效使用哲学”,数值计算再提速10倍!
  15. java基础知识补漏(1)---内部类,重写、重载
  16. 字典树-大量字符串前缀及出现次数是否存在统计(Trie树-java)算法实现
  17. oralce 12c集群 ora-01033
  18. t450加固态硬盘教程_联想 thinkpad t450s 加装固态硬盘及内存图解
  19. 新冠肺炎/病毒最新治疗研究进展(2022年6月)
  20. awb数据怎么计算_AWB 介绍 原理 和算法

热门文章

  1. (5)容器级标签和文本级标签
  2. 太强大了 | 一键生成,太强大了……
  3. Bootstrap3 动态模态对话框
  4. 下载 Bootstrap3 的 Sass 版本
  5. CSS3 建立弹性盒布局 Flex布局
  6. 计算机科学对个人而言最大的影响,论材料科学对计算机科学技术的深远影响.doc...
  7. react优秀项目案例_关于进行2019年北京市高等学校“实培计划”项目——毕业设计(创业类)项目总结与优秀项目案例征集的通知...
  8. 树莓派文字转语音 python_树莓派3-语音-实现文字转语音服务
  9. h5列表 php,H5的标签使用详解
  10. http协议工作原理(精简)