数禾科技 AI 模型服务 Serverless 容器化之旅
“使用阿里云容器服务 Knative 和 ECI 虚拟节点配合部署,在保证线上模型应对突发流量的稳定性大幅提升的同时,又使资源利用效率获得了显著的提高,极大的节约了资源成本。”
-- 数禾科技 AI 实验室 AI 平台负责人 周伟鹏
“数禾 DevOps 平台 BetterCDS 集成了阿里云容器服务 Knative,支持模型服务的多版本运行和弹性伸缩,在降低运行成本的同时,也提升了服务的可用性,极大地方便了运维人员和开发人员。”
-- 数禾科技基础架构研发部 工程效率组负责人 邓志
背景
数禾科技以大数据和技术为驱动,为金融机构提供高效的智能零售金融解决方案,服务银行、信托、消费金融公司、保险、小贷公司等持牌金融机构,业务涵盖消费信贷、小微企业信贷、场景分期等多个领域,提供营销获客、风险防控、运营管理等服务。数禾科技通过自主开发的消费信贷产品,连接金融机构与普罗大众,赋能金融机构数字化转型,迎接中国消费升级的大潮。
遇到问题
在风险管理业务中,根据公司的风险容忍度、风险偏好波动以及阶段性业务目标需要针对公司客户进行风险属性的调整,这其中包括用户额度、定价、可借期限等相关要素。那么这不可避免的需要应用批量数据处理能力通过计算规则来对大量用户做调额、调价等,当然,模型作为风险管理的重要组成部分也必不可少的会被运用至批量处理的动作中来。因此对于模型的计算能力就提出了很高的要求,包括计算速度、计算结果准确性、计算数据实时性等。
而当前的困扰所在是支撑模型计算的底层应用资源无法灵活且快速的根据请求量来智能化调整机器资源支持运算能力,这也是当前业务快速发展过程中亟待解决的痛点。同时,随着模型在线推理服务数量的增加,数禾的模型服务也变得越来越庞大、臃肿,难以管理。这种状况不仅导致了资源浪费,还增加了维护和升级的成本。
基于以上的各种情况,我们开始寻求新的技术架构方案,希望新方案可以具备随流量高效使用资源,降低模型服务成本,同时最好具备版本管理功能,可以实现多版本同时提供服务,较小响应的运维成本。
解决方案
经过内部的沟通与调研,我们最终选择了基于 Knative 的 Serverless 服务方案,它具备根据请求的扩缩容能力、允许 pod 缩容到 0 的冷启动能力以及多版本的管理能力。与此同时,由于数禾本身的技术架构都是部署在阿里云的底层资源上,而阿里云 ACK 又对 Knative 做了组件集成,可以支持一键部署,极大的减小了我们部署调试的时间成本。
客户价值
通过对内部模型部署的 pipeline 进行改造后,目前数禾的所有新增模型均已通过 ACK + Knative 方式部署在线上提供服务,得益于 Knative 的多版本管理能力,我们快速解决了模型的灰度发布和多版本并存的问题。同时加之基于请求的自动扩缩容能力,在多个版本并存的情况下,并没有对资源产生额外的消耗,而且对晚上的谷时资源继续了很好的节约。
下图是我们一个模型服务的资源消耗与请求量的对比图,上图为 Pod 资源数量,下图为服务请求量。由下图对比可以看出,整个服务资源的使用情况于服务请求量保持高度一致,使用效率非常高。
查看大图:
https://img.alicdn.com/imgextra/i4/O1CN01uHrVr51sc2SJ76y4x_!!6000000005786-0-tps-2559-1341.jpg
对于上文提到的批量作业任务,虽然我们已经具备了 Knative 的扩缩容能力,但依然需要在底层准备好足够的资源池来供模型进行扩容。但是在一天的大部分场景中这部分资源又是浪费的,对于这个问题,我们通过在 Knative 中使用 ECI 虚拟节点来得到了很好的解决。
我们对上线之后的模型服务进行了持续监控,对比使用之前的方案,模型服务在应对突发批量流量的稳定性获得大幅提升,同时资源的使用效率也获得了显著提高,节约成本约 60%。
作者:周伟鹏、魏文哲、元毅
原文链接
本文为阿里云原创内容,未经允许不得转载。
数禾科技 AI 模型服务 Serverless 容器化之旅相关推荐
- 数禾科技:科技加持,让普惠“信用”服务触手可及
简介:数禾通过构建自身的数据中台,打通以往独立建设的IT系统,使得各方数据汇聚联通,最终形成一个强大的数据决策引擎,不但让消费者得到满意的服务体验,同时大幅降低平台方的运营成本. -更多关于数智化转型 ...
- “与真实情况不一致”,数禾科技“打脸”母公司分众传媒
现金贷,是消金行业近年来最具盈利能力的领域.不少公司打起现金贷的主意,而受限于放贷资质问题,大多选择以助贷方式,协助小贷公司.商业银行等发放借款,收取服务费. 在发展过程中,助贷也衍生出一系列问题,实 ...
- 购物中心的运营保障,数衍科技数据桥接服务系统升级
购物中心行业正在进入存量时代,增长红利的消失导致同质化竞争加剧,行业即将走向变革重生的分水岭.同时通过数字化改善客户体验,提升运营效率,创新商业模式,将推动行业重新焕发生机. 数衍科技"数据 ...
- DockOne微信分享(九十九):海航生态科技舆情大数据平台容器化改造
本文讲的是DockOne微信分享(九十九):海航生态科技舆情大数据平台容器化改造[编者的话]海航舆情监控系统能够为海航集团内部提供监控网络舆情信息,对负面信息.重大舆情及时预警,研判具体舆情或者某一舆 ...
- 海航生态科技舆情大数据平台容器化改造
本文转载自微信公众号Docker(账号:dockerone),作者为海航生态科技技术研究院大数据开发工程师高颜. 文章介绍了海航生态科技舆情大数据平台的容器化改造经验,包括初期技术架构.应用容器化.架 ...
- 国内最具影响力科技创投媒体36Kr的容器化之路
本文由1月19日晚36Kr运维开发工程师田翰明在Rancher技术交流群的技术分享整理而成.微信搜索rancher2,添加Rancher小助手为好友,加入技术群,实时参加下一次分享~ 田翰明,36Kr ...
- docker-机器学习/深度学习模型部署的容器化方案
目前,使用docker部署机器学习或深度学习模型正在成为企业大规模部署的一种常规操作.基于目前工作的情况,刚好可以使用现成的模型尝试使用docker进行部署.主要有以下 1. 什么是docker 2. ...
- 微服务应用容器化场景中常见问题总结
简介:云原生技术栈是下一代应用转型的必然选择,它包含了微服务架构,DevOps和容器技术.对于微服务架构来说,应用是"第一公民",他逐渐蚕食原来底层软件或者硬件的功能,例如服务注册 ...
- 谷歌大神为你解释Kubernetes, 微服务和容器化
来自谷歌云平台(Google Cloud Platform)的开发者布道师 Ray Tsang 和 Bret McGowen 在 SpringOne2GX 大会上分享了谷歌的 Kubernetes 的 ...
最新文章
- shiro源码分析(四)具体的Realm
- 电脑键盘下划线怎么打_电脑键盘右边的数字键无法使用怎么办?
- pycharm无法识别css,PyCharm中HTML页面CSS class名称自动完成功能失效的问题
- 如何在网络中成对使用光纤收发器?
- 职场之道:明确自身的核心竞争力和占驻关键岗位
- 工控软件图形界面-控件实现(圆形仪表控件三)(zz)
- 概率论与数据统计在分类预测中的原理介绍(信息增益、交叉熵等)
- restorator打开后win10不能打开任何程序,右键桌面没有打开选项
- 基于arduino的ESP32 学习笔记(四)基于AIDA64的电脑性能监控
- 旧式有线打印机联网探索
- 如何彻底卸载office!!
- pythonsorted降序_【python】 sort、sorted高级排序技巧
- 超详细的CMD文件讲解(DSP28035)
- PHP电子合同对接流程,电子合同订立程序步骤
- php 引入百度编辑器ueditor
- 【第一组】第四次冲刺例会纪要
- 华为手机真机测试问题 The application could not be installed: INSTALL_FALLED_INTERNAL_ERROR
- 每日一诗词 —— 将进酒
- ICS文件说明和创建(以Outlook为例)
- 如何理解设计模式的六大原则?