在聊今天的案例之前,我想首先和大家聊聊当前最热的词汇之一:“数据驱动”。

双11就要到了,当你打开手淘页面,你会收到平台推荐给你的优惠活动信息,你可能感兴趣的商家或者商品, 你随意地逛着,喜欢的商品你可能会点击收藏或者加入购物车,不喜欢的你很快就关掉了商品介绍页面。

30min后,你再一次打开手淘,页面和30min前竟然完全不同。那些被你匆匆关闭页面的商品可能再也不会出现在你的视线里。

你在淘宝上的每一个行为,都在产生数据,而算法都在实时处理和分析:点击、浏览、收藏、加入购物车....并由算法自主决策,给你继续推荐什么样的商品,在你的手淘页面,展示什么样的广告....

如此,形成一个数据处理和利用的闭环。而在这个闭环中,决策者是数据,执行者也是数据。

这就是我们所理解的数据驱动,也是袋鼠云数据智能品牌理念 DI (Data Intelligence )和 BI 的重要区别:在BI中,也就是商业智能中,是数据辅助人决策,更多将会应用在战略层面的决策,而执行层面与战术层面则是DI的强项,让数据基于人工智能来自主决策,是真正的数据驱动。

一、数据智能,驱动银行创新进化

“互联网金融正在冲击传统的物理银行概念,商业银行将成为21世纪灭绝的恐龙,互联网金融出现之后,物理概念上的银行将会被颠覆。此外,现有金融格局也将受到冲击,产生互联网时代的金融巨无霸。”

——中国人民银行调查统计司副司长徐诺金

四川新网银行是全国三家互联网银行之一,由新希望集团、小米、红旗连锁等股东发起,于2016年12月28日正式开业,是银监会批准成立的全国第七家民营银行,也是四川省首家民营银行。

四川新网银行依托领先的金融科技能力、稳健的大数据风控技术和高效的互联网开放平台运营模式,服务小微群体、支持实体经济、践行普惠金融,着力成为一家数字科技普惠银行。

互联网时代,对用户来讲最重要的是什么?体验。

新网银行行内业务系统繁多,系统之间关系复杂,对监控有很高要求,需要准确快速定位问题。为了更好地支撑业务系统,保证系统平稳运行,给客户良好的服务体验,监控平台需要精细化业务监控指标,对运维监控平台提出了很高的要求。

新网银行业务运维部门负责人认为,日志数据是一座有待开发的金矿。日常中运维故障排查中也需要通过查询日志定位问题,所以他希望可以对日志进行统一的监控和管理,更好的服务业务部门,但是随着业务体量增大,需要查看的服务器越来越多,如何准确获取运维需要的信息是一个难题。

首先,新网银行对业内比较火的开源日志系统ELK进行了深入的研究,但新网银行的需求是基于业务层面对日志进行分析,对日志分析的功能需求比较个性化,如果使用开源产品,后续就必定需要经常会对其进行一系列的开发和整合,这样就会消耗很多时间和精力,所以新网银行更希望有一套成熟的日志分析解决方案来协助他们对业务进行统一监控和运维。

通过寻找对比市面上的一些日志分析解决方案厂家,新网银行了解到袋鼠云日志团队拥有多年PB级日志数据处理和分析的经验,对业务日志分析也有丰富的实践案例积累,双方一拍即合,希望通过打造一套完整的日志分析解决方案,通过对日志数据进行集中采集、分析、展示,实现对业务系统的实时监控报警、故障分析定位,打造数据驱动的智能运维平台体系。

通过日志分析平台的建设,新网银行取得了以下成果:

  • 将日志数据统一收集、存储,满足监管合规需求
  • 银行日志数据有严格的存储时间要求,新网银行实现了将行内各应用业务系统、网络设备等的日志数据进行统一采集、集中存储和长期保存备份。

根据流水号
查询交易日志了解业务详情

  • 通过对日志数据进行解析,实现对主要业务系统的运维监控
  • 通过将新网银行各业务系统运行中交易异常、耗时异常,接口错误等关键指标进行聚合统计后,配置相应告警规则,对接行内短信通道及统一告警管理平台,并在故障产生的第一时间告警给负责人员,大大缩短了运维人员的排障时间,降低故障带来的损失。

通过对各交易流水日志进行解析
监控各应用请求的耗时

  • 业务监控数据用可视化报表呈现,让数据价值看得见,真正实现数据驱动
  • 通过仪表盘将行内各业务监控指标进行可视化展示,让业务人员和运维人员都能直观地查看异常信息,了解交易详情。

将监控指标用可视化图表展示
异常信息一目了然

  • 权限设置,实现分系统分权限查看日志
  • 为了减少和防止人为误操作,保障生产环境的稳定运行,日志平台根据业务系统数据及功能需求严格控制研发、运维及管理人员的权限,故障排查再也无需登录生产环境。

二、新网银行和袋鼠云合作探索数据驱动:数据——技术——业务

总结新网银行和袋鼠云的整个合作过程,不得不提到袋鼠云CEO陈吉平经常讲到的三角形架构:“数据——技术——业务”。所谓数据驱动,底层一定是技术来支撑,在具体的业务场景里,挖掘数据的价值,驱动业务创新发展。

新网银行一期计划接入行内20多个业务系统,工作量繁重且艰巨。而且银行业务系统的复杂性,以及外包开发人员打印日志的不规范性,给接下来的日志分析带来了极大的挑战。

作为中国互联网银行业务的创新标杆,新网银行理所当然最了解自身的银行和金融业务。

所以袋鼠云工程师和新网银行的专家们进行紧密合作,深入了解新网银行的业务场景,计划按照业务的优先级将一期20多个业务系统分批接入。首先确定接入的是行内关键的3个业务系统,基于每个业务系统的特殊日志分析需求,双方合作对新网银行的特定业务日志进行了定制化的场景分析。

在和新网银行一起进行日志场景化分析的过程中,袋鼠云日志产品将这些需求沉淀、产品化,袋鼠云日志产品的场景分析功能迅速迭代,配合新网银行内部业务日志的改造工程,一同完善整体日志分析方案。

一个月的时间内,袋鼠云和新网银行共同努力,三大关键业务系统的日志分析功能上线,新网银行的日志分析平台建设初显成果。

在和新网银行建设日志分析平台的过程中,袋鼠云日志实现了和行内大数据平台ES的完全兼容。

也就是说,经由袋鼠云日志平台采集存储加工处理的日志数据可无缝对接到很多银行企业原有的大数据平台中,解决银行企业数据集中难的痛点和难点。

新网银行 X 袋鼠云合作打造的日志监控平台
(注:图中数据为演示数据)

三、回到新网银行 X 袋鼠云 合作的起点

2017年6月6日,2017年全国高考开始的前一夜。

当天,还在新网银行做POC测试的袋鼠云日志团队收到一个艰巨的“考题”:

2017年6月9日,新网银行的投资方之一小米科技的创始人雷军将要到新网银行视察。为了更直观、形象地展示行内业务发展情况和科技应用成果,新网银行计划采用当前比较流行的数据可视化的形式。

从需求承接到设计,数据研发,部署一共只有三天时间,听起来是一个完全不可能完成的任务。但是不试一下怎么知道不行?

袋鼠云了解到这一需求,迅速抽调内部设计和前端、后端资源,全力配合:新网银行的工程师们迅速抽取、处理和分析数据,袋鼠云的工程师们则负责大屏展示的设计和前端开发。

3天,72小时,加班加点的努力终于开花结果。

最终,在2017年6月9日,领导来视察前,一起完成了这项艰巨项目,并获得了领导的肯定和赞扬。

袋鼠云用了三天三夜定义了自己倡导的价值观:客户第一、团队协作、专业、担当。

四、没有技术,是行不通的;只有技术,也还是行不通

作为一家技术驱动的创新型公司,技术实力和经验是袋鼠云的生产资料,是立足之本。

但是只有技术,袋鼠云根本无法为客户提供最好的服务。在和新网银行合作的过程中,客户的大规模量的数据、多元创新的业务让袋鼠云的技术有了发挥余地,客户对自身业务的专业积累帮助袋鼠云更快理解银行日志大数据的应用场景,更高效地探索所谓的“数据驱动”。

而对于袋鼠云,除了专业的技术能力外,更重要的,是在和客户的合作中,真正践行“客户第一”的服务理念。

探索“数据驱动”,袋鼠云期待和更多的伙伴一起合作,实践。

智能运维案例系列 | 新网银行 X 袋鼠云:银行核心业务系统日志监控平台建设实践...相关推荐

  1. 智能运维案例系列 | 袋鼠云日志助力云南某金融机构日志平台建设,实现核心业务系统运维智能化...

    一."黑匣子":我很小,但我很重要 今天聊日志之前,我们先来聊另外一个话题:"黑匣子". 没错,就是飞机的"黑匣子".黑匣子是记载飞行数据和 ...

  2. 交通银行软件中心编制_智能运维国家标准编制启动会在京举行 云智慧参与标准制定...

    近日,由全国信标委信息技术服务分技术委员会主办,中国建设银行运营数据中心承办,平安科技(深圳)有限公司.中国电子技术标准化研究院协办,紫光股份旗下新华三集团.云智慧(北京)科技有限公司特别支持的智能运 ...

  3. 智能运维 | 我们不一样!告诉你百度云如何做智能流量异常检测

    流量,是系统的黄金指标之一,它直观反映系统的运行状态.健康的系统流量通常平稳波动变化,当流量突然上涨或者下降时可能预示系统中存在故障.例如系统的外部网络链路出现故障时,外部用户的访问流量无法到达我们的 ...

  4. AIOPS案例学习-阿里巴巴构建通用智能运维平台

    2017年在线技术分会--运维/DevOps在线技术峰会上,来自阿里基础架构事业部大数据SRE团队的池枫分享了构建通用化智能运维体系的实践.他主要介绍了智能运维体系的设计以及通用核心套件,从T-flo ...

  5. AIOps(智能运维)中的指标算法场景分享 | 内附视频ppt资料

    本文转录自:北大博士后严川在云智慧AIOps社区举办的Meetup上进行的<AIOps指标相关算法体系>分享. 直播回放:戳此查看在线回放 PPT下载:戳此下载资料 智能运维算法场景概览 ...

  6. ccf 智能运维 裴丹_裴丹:智能运维算法需要工业界

    裴丹:智能运维算法需要工业界 学术界密切合作实现技术突破 ■商灏 清华的计算机系,国内一流,而其智能运维研究,据业内人士透露,近两年已超越美国同行,为世界最顶尖水平.本篇可能是国内财经媒体首次触及此类 ...

  7. 云智慧完成D3轮6000万美元融资,继续领跑智能运维市场

    2020年12月1日,全栈智能业务运维服务商-云智慧(北京)科技有限公司(以下简称:云智慧)宣布完成D3轮6000万美元融资,这是国内智能运维领域获得的单笔最大融资. 云智慧于2016年开始将大数据和 ...

  8. 秒云获得阿里云首批产品生态集成认证,携手阿里云共建云原生智能运维生态服务

    近日,成都元来云志科技有限公司(以下简称"秒云")的云原生智能运维中台产品与阿里云计算有限公司(以下简称"阿里云")的阿里云容器服务 ACK 经过严格测试程序, ...

  9. 【观察】智能运维从拓荒走向深耕,云智慧领跑的升势和胜势

    申耀的科技观察 读懂科技,赢取未来! 2016年,Gartner首次定义了智能运维(AIOps)的概念,并指出到2022年全球50%的企业将会部署AIOps平台进行数字化转型. 正是对AIOps智能运 ...

最新文章

  1. 吴世春:如何找到产品的引爆点
  2. 通用权限管理系统组件 (GPM - General Permissions Manager) 中实现按部门组织机构设置权限...
  3. aspose 生成word 简单的文档操作
  4. 万年历升级版 Calendar
  5. 清空文件下的SVN控制文件
  6. EOS 连接同步主网
  7. 拯救不靠谱:他是怎样将技术外包做到纠纷率3%?
  8. 恒大汽车自救进行时:恒驰5进入试产阶段,离量产只差道路准入许可
  9. IPLAT62--后台返回提示参数
  10. 随笔1:音频编解码科学家
  11. 严重漏洞已存在16年,数亿台打印机受影响
  12. dlib疲劳检测_基于OpenCV的实时睡意检测系统
  13. st计算机编程语言,初学ST语言,有了这篇ST编程语言的相关知识就容易多了~
  14. mysql audit plugin_MySQL Audit Plugin的简单应用
  15. 无法连接imssage信息服务器,苹果iPhone X用iMessage发短信信息总是失败解决方法
  16. 夏季室内甲醛净化 A.O.史密斯数显甲醛净化器让用户更放心
  17. with grant option作用
  18. wp教程-wp详细教程-免费wordpress模板主题搭建教程
  19. influx数据同步
  20. 【论】Balancing bike sharing systems with constraint programming

热门文章

  1. 中国制造挽救了特斯拉,否则它就被大众超越了
  2. unity实现坦克对战
  3. unity3d-多人坦克对战
  4. 简单的位图转换矢量图方法
  5. abb机器人负载配置设定_ABB机器人配置Profinet网络配置流程.pdf
  6. Witt向量简介 §3.3:原像集为Witt向量环的环态射
  7. 如何显示隐藏的文件夹
  8. PMP 项目管理师 认识和学习路线规划
  9. CoffeeScript入门实践
  10. python实现神经网络数字识别_PYTHON搭建BP神经网络,并实现手写数字识别