凌云时刻 · 故事

导读:近年来,Serverless 一直在高速发展,并呈现出越来越大的影响力。主流的云服务商也在不断地丰富云产品体系,提供更好的开发工具,更高效的应用交付流水线,更好的可观测性,更细腻的产品间集成,但一切才刚刚开始。

作者 | 山猎

来源 | 凌云时刻(微信号:linuxpk)

前言

国内一些大公司已经有了一些成熟的 Serverless 应用案例,一些创业公司也开始加入 Serverless 阵营,如果说Serverless 到底解决了什么问题,核心就是节约成本、节省精力。

蓝墨是一家由美国留学生回国创业的高科技公司,专注于移动互联时代数字出版和移动学习领域的新技术研究及平台运营,依托自主研发的蓝墨移动交互式数字教材核心技术体系,为出版社、学校和教师提供移动交互式数字教材、校园移动学习平台及教师自助数字出版等解决方案。

自 2012 年成立以来,蓝墨的技术团队对于一些开放的新技术抱有极大的热情,并愿意应用快速迭代的互联网新技术,来确保其业务系统稳定运行。2020 年初,疫情期间,在线教育迎来需求爆发。为了应对高流量,蓝墨加大了整合业界优质课程资源的力度,不断拓展自身的业务边界,在赢得机遇的同时,技术团队也面临了前所未有的挑战。

面临挑战

作为教学平台,蓝墨每天要处理大量视频教材资源,涉及到视频剪辑、切分、组合、转码、分辨率调整、客户端适配等一系列复杂的技术工作,视频处理相关业务是蓝墨的技术团队面临的最大挑战之一。通过几年的技术实践,蓝墨技术团队通过 FFmpeg 等技术已经建立起一整套自主可控视频处理机制,支撑了业务的快速发展。但今年的业务增长速度让蓝墨的技术团队始料未及,高峰期数十倍于往年的视频处理需求让现有的架构不堪重负,严重影响了用户体验。

 高峰需求量难规划,水平扩容难走通

面对挑战,最初蓝墨技术团队希望通过水平扩容解决问题,但在全天范围内,视频处理的需求量存在极为陡峭的波峰波谷,大量的任务发生在几个高峰时间段,而且具有一定程度上的突发性。如果按照最高峰期的需求量来规划系统容量,会造成计算资源的大量浪费,而且最高峰期的需求量到底是多少,也是很难预判的。如果采用错峰处理的方式,可以降低计算资源成本,但对于用户的需求得不到及时的处理。水平扩容方案因此被放弃。

 自身业务逻辑要求,难以使用第三方的视频转码服务

还有一种解决方案是直接使用云厂商提供的视频转码服务,类似于 BaaS 的方式。采用这样的方案的优势是,可以完全不用考虑容量规划的问题,根据实际业务量按需调用云服务即可。但蓝墨的视频处理机制做得非常精细,包含着大量自定义的业务逻辑,需要使用代码来实现,第三方的视频转码服务根本无法满足要求。

解决方案

推倒重来!蓝墨现在的核心诉求概括有三个:节省成本、极致弹性、免运维,而这些恰恰是 Serverless 最擅长解决的问题。经过对国内云厂商提供的 Serverless 服务的多方面调研后,蓝墨技术团队一致认为在视频处理领域阿里云函数计算是最适合他们的方案。

阿里云函数计算(Function Compute,简称 FC)是一个事件驱动的全托管 Serverless 计算服务,对于使用者而言,无需管理服务器等基础设施,只需编写代码并上传,函数计算会准备好计算资源,并以弹性、可靠的方式运行代码。由于阿里云函数计算完全兼容现有的代码逻辑,也能够支持各类主流的开发语言,所以蓝墨技术团队可以把代码逻辑以近乎无缝衔接的方式从原有的架构迁移到阿里云函数计算上,并且成本极低。通过对接 OSS 触发器,只要 OSS 上有新的视频源文件上传,就能自动拉起函数计算实例,开启一次视频处理业务的生命周期。通过整合 Serverless 工作流,还能对分布式任务进行统一编排,实现对于大文件切片后进行并行处理并最终合并的复杂操作,更进一步的提升了处理效率。

对于蓝墨的技术团队而言,函数计算是一种完全按需调用的 Serverless 化方案,能够充分利用云计算的弹性能力。

  • 一方面,阿里云函数计算能够在短时间内迅速调集上万个实例的计算资源,实现视频处理任务的快速执行;

  • 另一方面,由于不需要预留计算资源,也不需要对底层的软硬件进行维护,可以极大地降低运营成本,让蓝墨技术团队更专注于复杂业务逻辑的实现上。

相比于传统的方式,基于阿里云函数计算的 Serverless 方案在视频处理场景下,帮助蓝墨节省了 60% 左右的 IT 成本投入。

在享受到函数计算所带来的巨大价值后,蓝墨也积极在视频处理之外的其他业务领域探索可以进行 Serverless 化改造的场景,并成功落地了阿里云函数计算和日志服务的集成,当日志以流的方式源源不断写入时,日志服务会自动触发函数计算对数据进行处理,分析日志中的重要信息,实现异常事件的报警,并按照业务规则把日志进行压缩、转换后存放到其他媒介中。

蓝墨技术团队负责人表示,将来蓝墨会将更多场景与阿里云函数计算进行整合,充分享受云原生的技术红利,提升整个团队的战斗力。而阿里云也将一直与用户站在一起,打赢接下来每一场漂亮的战斗!

阿里云函数计算

阿里云是国内最早一批推出 Serverless 计算服务的企业,函数计算(Function as a Service)更是 Serverless 中最具代表性的产品形态。可以说,蓝墨并不是第一家享受到函数计算 FC 巨大价值的企业,新浪微博、石墨文档、芒果TV等都是函数计算的拥趸者。前不久,在2020可信云线上峰会上,阿里云函数计算FC通过了基础能力要求、平台可观测能力、服务性能、服务和服务计量准确等21项测试,以全部满分的成绩通过了可信云函数即服务能力认证。此前,在 Forrester 发布的报告中,阿里云函数计算被给予“强劲表现者”的评价。

除了拓展更加丰富的产品形态,阿里云函数计算也不断优化用户体验,包括做了硬盘挂载、预留实例、镜像加速、大规模实例等业内领先的实践,真正把用户需求放在首位,沉下心来做对用户更有价值的产品。

END

往期精彩文章回顾

下一代异步 IO 技术解密

io_uring 新异步 IO 机制,性能提升超 150%,堪比 SPDK

如何写好代码?

如何解决大规模高性能存储可靠性问题?

掌门教育微服务体系 Solar(中)

演过电影的无人驾驶卡车是如何炼成的?

全部满分!阿里云函数计算通过可信云21项测试

如何应对容器和云原生时代的安全挑战?

融合阿里云,牛客助您找到心仪好工作

掌门教育微服务体系 Solar

长按扫描二维码关注凌云时刻

每日收获前沿技术与科技洞见

面对10倍需求只用 40% 成本,这是一种怎样的体验?相关推荐

  1. 拥有懂需求的云计算供应商,是一种怎样的体验

    当今,云计算蓬勃发展,充满活力,不仅是因为有像亚马逊.OpenStack.VMware等知名国外企业的先行者.还有众多国内厂商纷纷发力,想要在云计算领域纷纷谋得一席地位.那么问题来了,不同的云厂商在各 ...

  2. 视频需求超平常数 10 倍,却节省了 60% 的 IT 成本投入是一种什么样的体验?

    作者 | 山猎 近年来,Serverless 一直在高速发展,并呈现出越来越大的影响力.主流的云服务商也在不断地丰富云产品体系,提供更好的开发工具,更高效的应用交付流水线,更好的可观测性,更细腻的产品 ...

  3. 阿里天蝎计划 服务器部署效率提升10倍

    本文讲的是阿里天蝎计划 服务器部署效率提升10倍 7月16日,由阿里巴巴自主研发的整机柜服务器解决方案(AliRack),在中国可信云大会上首次亮相.基于天蝎技术规范的AliRack产品已规模化应用于 ...

  4. 面试官:面对业务量增长10倍、100倍怎么处理? 当场哭出声。。

    面对业务量增长10倍.100倍怎么处理?你们系统是怎么支撑高并发的?怎么设计一个高并发系统?高并发系统都有什么特点... ... 问法很多,好像无处下手,但是总结一个常规的思路就是围绕支撑高并发的业务 ...

  5. 张向宁:窄告将让中国营销成本下降10倍

    2005年4月8日,"第二届中国搜索力经济高峰论坛"在厦门国际会展中心举行.中国网络分众广告第一人.窄告运营方天下互联公司总裁张向宁再出惊人之语:"窄告将让中国营销成本至 ...

  6. 摩尔定律的启示:电信业与IT业成本缘何相差10倍

    今天,中国电信在京召开"十年重构 翼启转型----<中国电信CTNet2025网络架构白皮书>发布会",全面启动网络智能化重构. 网络智能化重构是中国电信实施转型新战略 ...

  7. Achronix推出FPGA系列产品Speedster7t:瞄准AI/ML需求 算力提升10倍

    [TechWeb]5月22日,芯片性能提升的一小步往往能带来产业发展的一大步.在人工智能/机器学习(AI/ML)和高带宽数据加速应用需求日益增长的今天,Achronix半导体公司推出FPGA系列产品S ...

  8. 比5G还快10倍,你准备好迎接万兆通信了吗?

    2022冬奥会,让大家见识了5G高速冲浪的快乐.通信技术的发展,传输速率越来越快,不断重新定义着这个世界的连接方式. IEEE预测,设备连接将从180亿台(2017年)增长到285亿台设备(到2022 ...

  9. 10倍效率的开发者即将消亡

    [编者按]这篇文章是作者对于 10 倍效率的开发者这一概念的批判和反思.作者认为,这种概念是基于错误的假设和测量方法,导致了一些不良的后果,比如过度依赖个人英雄主义,忽视团队合作,以及缺乏对软件质量和 ...

  10. 京东业务增长10倍背后的敏捷开发秘籍【案例+分析】

    需求又要改? 项目上线时间又提前了? 老板还嫌增长不够? 团队都开始灰心丧气了? 来看看京东内部是如何解决这些让人焦头烂额的棘手问题. 1 两次失败之后成功支持双11活动 京东每年两次大的的促销活动中 ...

最新文章

  1. 回归框架下的人脸对齐和三维重建
  2. linux程序获取透传参数,Linux内核中TCP SACK处理流程分析
  3. 一个简单的Java计时器项目,附源码
  4. python是什么语言汇编_编程语言及python介绍
  5. 如何使用Meter-WebSocketSampler
  6. android复选框不选中无法点击按钮,Android-Listveiw的checkbox,Button焦点问题
  7. win10系统进入监护人模式的方法
  8. 项目拖太久的巨大风险
  9. MTK 驱动开发(39)--低功耗分析工具
  10. Codeforces Round #467 (Div. 2)
  11. big endian与little endian
  12. 三目(三元)运算符??::的形式
  13. 2016年CIO要掌握五大新思维
  14. Hi3861开发板搭建环境
  15. 【毕业设计】基于大数据的抖音短视频数据分析与可视化 - python 大数据 可视化
  16. 在R语言中显示数学公式
  17. html导航栏固定在顶部,将导航栏始终固定在窗口顶部:
  18. Linux 系统编程-文件IO-文件描述符、open函数的使用、实现touch命令
  19. rk3399添加开机启动脚本
  20. 用DownSub 导出TED和youtube字幕

热门文章

  1. ExtJS 4正式版今天发布
  2. Quicksort算法之父——1980年图灵奖获得者查尔斯·霍尔
  3. Redis3.0--集群安装部署
  4. media query学习笔记
  5. ADO.NET Entity Framework(3)ObjectContext
  6. 学习《银光志 silverlight 3.0》 不错的实例讲解【含源码】
  7. 第4章 最基础的分类算法-k近邻算法 kNN 学习笔记 上
  8. 深度学习资料整理(深度神经网络理解)
  9. 影视】100种说爱你的方式~
  10. Atitit 管理plus 的概念,为什么要留长发与管理思想的结合 目录 1.1. 孝道的体现 身体发肤 受之发肤 不敢毁伤 出自 1 1.2. 著作介绍 1 1.3. 传统国学文化的复兴 中国