面向视频领域的边缘计算白皮书

面向视频领域的边缘计算白皮书

SDN/NFV/AI 标准与产业推进委员会 2020 年 12 月

1 面向视频领域的边缘计算总体架构

1.1 总体架构

本白皮书从边缘视频应用需求出发，结合业界通用边缘计算标准架构，提出面向视频领域的边缘计算总体架构，如图 2 所示。面向视频领域的边缘计算架构具备“云、边、端”的边缘计算基本特征。

端侧设备通过多种协议接入到边缘侧，主要包含摄像机、监视器等视频采集设备以及显示器、VR 终端等视频呈现设备，用于生成上行视频业务流量，接收并展示下行视频业务流量。

运行于边缘侧的边缘管理平台利用虚拟化技术管理计算、存储和网络资源，提供智能化的音视频分析处理能力，本地化存储视频业务数据，管控端侧设备。边缘应用/服务运行于边缘管理平台之上，为用户提供视频服务。

云侧运行集中式的管理平台，从全局角度管理边缘节点、边缘设备、边缘应用和全局资源。于此同时，云侧通常提供大数据、人工智能等平台服务。部分视频应用/服务运行于中心云上，利用平台提供的能力，与边缘侧协同处理视频业务。

边缘侧与云侧之间从数据、资源、应用、服务等多个方面进行协同，满足视频应用需求，保障整体架构高效、稳定运行。

1.2 端侧视频设备

（1）视频采集

视频采集设备是指具有静态图像捕捉、视频摄像等功能的设备，例如视频监控、摄像头、照相/摄像机等。

摄像机作为传统的视频采集设备，主要分为演播室和广播摄像机、数字电影摄像机等。演播室和广播摄像机主要用于演播室和直播制作的专业广播摄像机，可用于体育赛事等直播场景，支持 4K、2K、高帧率（HFR）、高动态范围（HDR）等。数字电影摄像机主要是用于制作电影、电视剧、商业广告和独立电影的摄像机。

网络的不断发展，传统的广电行业、影视制作行业的摄像机越来越来的支持网络方式传输。

监视器作为摄像机中一种特殊的类型，主要被用于监控、行车记录、最终监视器的不断发展，越来越多的智能摄像机、云台摄像机等新型的产品涌入市场。云台摄像机的好处是摆脱了传统监视器进行本地存储带来的成本和不安全因素，但是云台摄像机也存在着由于网络传输不畅导致的视频画面丢失的风险。

目前，8K、360°全景等新型视频的拍摄需要专用的摄像头，比如 8K 视频的拍摄需要专用的 8K 摄像机。360°全景的拍摄也需要全景摄像机的支持。因此伴随高新视频的不断出现，新型的专用摄像机将越来越多。

此外，摄像头还广泛应用在各种设备上，例如手机、平板电脑、PC、汽车、无人机等。此类设备体积小、分辨率高，但由于这些设备的存储容量、处理能力有限，需要在云端进行存储、处理。

（2）视频呈现

2020 年 5 月 21 日，工信部、广电总局印发《超高清视频标准体系建设指南（2020 版）》中指出超高清终端呈现设备涉及到电视、机顶盒、个人电脑、手机、平板、VR/AR 终端。

电视作为家庭场景中重要的视频呈现设备是超高清视频呈现的主要设备之一。当前家庭互联网络的不断发展，智能电视逐渐普及，家庭中的智能电视可以快速接入边缘计算的架构当中。智能电视，是基于 Internet 应用技术，具备开放式操作系统与芯片，拥有开放式应用平台，可实现双向人机交互功能，集影音、娱乐、数据等多种功能于一体，以满足用户多样化和个性化需求的电视产品。其目的是带给用户更便捷的体验，目前已经成为电视的潮流趋势。

机顶盒作为一种连接电视机与外部信号源的设备，随着互联网和有线电视入户在家庭视频呈现中也扮演着重要的角色。它可以将压缩的数字信号转成电视内容，并在电视机上显示出来。机顶盒在中国经过几十年的发展，逐步走向了智能化、高清化、互联网化。搭配Android/TVOS 操作系统，支持 4K 解码是当前机顶盒的主流配置。在内容上，有线电视、IPTV 数字电视机顶盒由运营商提供内容，OTT 机顶盒主要由生产商与视频牌照方合作提供内容。未来 IPTV 机顶盒将作为一种家用数字平台被广泛用于不断扩大的交互式多媒体数字内容服务领域。

VR 终端设备市场上主要产品可以分为移动端 VR、PC 端 VR 和一体机。移动 VR 被很多人认为是未来的主流 VR 设备。另外由于移动 VR设备相对来说技术含量较低、成本不高，使得移动 VR 设备推广更为迅速，但在消费者的沉浸感和交互性体验上，远低于 PC 端设备和一体机。PC 端 VR 头盔相对于移动 VR 存在操作繁琐、价格昂贵、携带不便等困难，但其绝佳的体验感让消费者体验到 VR 技术真正的魅力。

但 PC 端 VR 需要一定的空间以及多项设备包括 PC、传感器的链接，并且 VR 设备对 PC 的硬件要求也很高。相较于市场上的手机盒子以及依托电脑输出的 VR 产品，一体机更符合人们对 VR 的认知。VR 一体机是具备独立处理器并且同时支持 HDMI 输入的头戴式显示设备。具备了独立运算、输入和输出的功能。

智能设备终端包括智能手机、平板等。由于互联网应用的不断发展，智能终端设备将承载越来越多的视频流量，用户在手机上观看视频变得越来越方便。短视频的流行如火如荼，直播代购方兴未艾，正是新的视频场景和业务的出现给移动端的视频播放带来了更大的挑战。

1.3 边缘侧

（1）主要功能

a. 控制功能

在视频业务场景中，利用边缘计算本地化计算能力，可以对摄像头等视频设备上传的采集信息进行及时、高效地处理，并根据外部环境变化，生成控制指令，控制相关设备行为，满足智能安防等应用需求。因此，边缘侧主要控制功能应包括采集信息能力感知、设备行为控制等相关功能。

 采集信息能力感知要求边缘侧利用多种标准化接入协议感知设备接入；在边缘对设备进行抽象，并与应用、服务、场景等进行绑定，实现设备对接；通过专用接口，获取接入设备的采集信息。

 设备行为控制要求边缘侧根据设备采集信息，结合分析功能，生成设备控制指令，并通过南向协议向对应设备下发指令，完成对设备行为的控制。

b. 分析功能

根据设备采集的音视频信息，利用边缘节点计算资源，进行本地化智能分析处理，是边缘计算在视频领域的核心价值所在。一方面，在边缘侧预处理设备产生海量数据信息，进行数据过滤，可以有效降低上云带宽；另一方面，将计算量大的训练、推理卸载至边缘侧，可以有效地保障时间敏感应用的处理需求。边缘侧分析功能具体包括数据导入与预处理功能、智能分析功能。

 数据导入与预处理功能是大数据技术与边缘计算技术的有效结合。在边缘侧对设备产生的海量视频数据进行导入，并采用流式计算等方式对导入的数据进行预先处理，满足部分业务的实时计算需求。边缘视频监控业务本质上使用了一种基于边缘计算的视频图像预处理技术，通过对视频图像进行预处理，删除图像冗余信息。

 智能分析功能是人工智能技术在边缘侧的重要体现。智能分析功能主要针对边缘节点上采集的视频信息进行 AI 加工处理和 AI 算法的管理，并通过编排功能支撑多算法组合、调度，实现实时的图像特征提取、视频基因分析、视频文字提取等相关视频分析处理能力。

c. 缓存功能

边缘缓存功能一方面将大量用户频繁访问的视频业务数据，临时缓存到边缘侧，从而降低用户访问时延、改善用户体验的服务质量，满足高清视频点播等视频业务需求；另一方面，针对上行视频业务流量，在边缘侧为用户提供各种类型的存储服务，实现本地化的数据存储，减少骨干网流量、避免网络拥塞、保障数据安全，满足安防监控等视频业务需求。
在“热”数据缓存方面，通过本地 DNS、流量重定向等缓存模式，在近用户位置响应视频业务请求，并利用基于流行度缓存、基于用户偏好缓存、基于学习缓存等多种缓存策略，实现高效业务缓存机制。

缓存功能根据不同视频业务所需的计算性能与存储容量，可以灵活部署在不同的边缘位置。

利用边缘存储优势，可以选取就近的边缘节点上传视频数据，并优质传输链路，保障传输质量。此外，边缘侧还可以针对传输的视频数据执行加密、脱敏等操作，保障数据安全。为了满足未来众多场景各类视频的用户需求，边缘侧应提供边缘文件存储、边缘对象存储、边缘块存储等多种类型存储方式。

d. 管理功能

边缘侧应支持对边缘视频应用/服务的相关管理功能，主要包括应用生命周期管理、运维管理、应用规则管理、资源管理等。

 应用生命周期管理支持对应用的生命周期进行管理，具体包括：支持实例化应用；支持终结应用实例；支持查询应用实例信息；支持改变应用实例的状态，如停止、启动等；支持查询应用实例的状态。

 运维管理包括平台配置、性能和故障管理、应用程序监控、远程服务配置和服务控制、有关平台功能的信息收集、可用服务和可用虚拟资源等。

 资源管理利用虚拟化技术对边缘资源进行有效地管理，通过VIM 采集 CPU、内存、存储、GPU 加速卡和 FPGA 加速卡资源使用量，以及用户访问应用的网络分流流量，并提供北向资源统计信息 API 和公共服务调用的统计信息 API。

 应用规则管理包括服务授权、流规则配置以及 DNS 配置等。

边缘管理平台通过管理相关规则，实现应用和服务的按需调度。

（2）边缘形态

a. 边缘设备

目前主流边缘设备类型包括边缘服务器、边缘一体机、边缘网关等。

 边缘服务器
目前边缘服务器通常使用业界通用的 x86 或 ARM 服务器。边缘服务器的配置根据部署需求不同，存在差异。在机房条件较好的环境下，优先使用通用服务器承载边缘业务;对于机器学习和人工智能训练型服务器，可采用专用的 GPU 服务器，小规模计算场景采用通用服务器配置 GPU 卡，其基本部署在城市核心 DC，配合边缘数据中心实现视频类类业务。

采用通用服务器方案并使用虚拟化技术，形成资源池，有利于提升资源利用率及对虚拟化资源进行统一管控、运维、监控等。此外，采用通用服务器方案还能避免厂商锁定问题，有利于后期扩容、升级与维护。

 边缘一体机
边缘一体机往往集成了计算、存储、网络等硬件资源、虚拟化能力以及边缘云软件平台，具有快速部署、运维管理简单等特点。

边缘一体机适合边缘机房环境以及部署成本等因素受限的场景。

特殊尺寸的边缘服务器具有尺寸小、功耗低、计算密度高等特性;采用前走线设计，便于维护管理。边缘一体机有利于利用现有接入和汇聚机房，减少边缘机房改造，满足用户低时延等业务需求，快速开展边缘计算业务。

 边缘网关

边缘网关设备通常用于工业互联网、物联网等场景，是一类具有较强接入能力和协议转换能力的计算设备。边缘网关通常具有 RS 232、RS 485 、RJ45、USB 等有线接入能力，以及 4G/5G、专用无线芯片、蓝牙等无线接入能力。在协议转换方面，根据应用场景不同，边缘网关将多种不同的南向接入协议转换为 MQTT 等标准北向协议。

在满足接入与协议转换能力的基础上，边缘网关通常具备一定的计算存储能力，可部署运行边缘应用，提供轻量化的大数据与人工智能服务。

b. 边5缘平台

目前主流边缘平台包括多接入边缘计算平台及边缘 IoT 平台等。

 多接入边缘计算平台

以 ETSI 定义的 MEC 参考架构为代表的多接入边缘计算平台（MEP），主要实现边缘数据中心的分流规则管理、DNS 管理、API 网关能力等功能，它是从边缘网元和应用访问端点之间的控制模块，实现更精细的边缘访问管理控制。MEP 主要功能包括：

 MEP 为实现 MEC 应用发现、发布、使用以及提供 MEC 服务提供环境。

 MEP 根据来自 MEPM、MEC APP、MEC Service 的数据流路由规则完成数据面路由转发规则的控制。

 MEP 接收 MEPM 的 DNS 配置信息完成 DNS 代理/服务器的配置。

 边缘 IoT 平台

边缘 IoT 平台为物联网的万物互联提供安全、可靠、稳定的终端接入、协议适配、数据路由、数据存储、数据分析、应用使能等功能。

边缘 IoT 平台的位置如图 3 所示。

边缘 IoT 平台具有如下功能：

 连接服务：提供设备联网功能，支持设备通过各种无线或有线的通信方式接入网络，并支持各种网络传输协议；

 设备服务：提供设备基础管理功能，包括设备的鉴权管理、数据协议解析、消息路由、设备影子数据及元数据管理功能；

 数据服务：提供设备数据的基本管理功能，包括设备的上下行日志存储，以及一些数据指标的聚合分析，如平均值、最大、最小值等；

 使能服务：提供应用使能服务，主要是为上层或第三方应用提供按规则和条件进行数据订阅和数据转发的服务。包括应用注册、规则引擎、数据流转服务；

 其它：包括基础的安全服务、控制台和监控服务。安全服务提供基本物联网安全机制；可视化控制台提供边缘 IoT 平台与客户交互的界面；可视化监控提供服务可用性及风险监控能力。

1.4 边云协同

随着 VR/AR、4K/8K、云游戏等技术的迅速发展，视频类应用越来越场景化和多样化，更大的数据量、更强的交互性以及用户对应用体验的更高要求，都对视频类应用及业务承载网络提出了新的挑战，在保障高带宽的同时，要兼顾视频类应用的低时延需求。

为满足视频类应用发展需求，边缘计算与云计算需要从资源、数据、应用、服务四个维度进行紧密协同，并在中心云的统一管理下，实现边缘节点之间协同。

（1）资源协同

云边协同的作用之一，是在评估可用资源和资源需求的情况下，完成业务的部署和调度和负荷分担。调度过程需依据业务的资源占用、流量、运行状态等，从全局视角，对计算资源、网络互联带宽和延时、存储资源和应用软件资源完成调度和配置，以达到全局的业务整合。

计算资源协同方面，边缘侧根据业务需求，提供不同类型的虚拟化设备，如计算增强型、GPU 渲染增强型、存储增强型等不同设备。

服务商对边缘节点部署的服务应具备精准监控与调度能力，在边缘节点计算资源不足时，可以调用云端资源进行补充；存储资源协同方面，在边缘节点存储热度高、定制化的内容，在云端存储区域长尾内容，将边缘节点有限的存储能力与云端存储进行联动，以发挥最大价值；网络资源协同方面，可以在边缘侧实现用户多路接入、边云多路互通。
当网络发生拥塞的时候，运行在云侧的网络控制器可以及时感知，并将流量引入到较为空闲的链路上。

为满足边云资源协同的需求，要求边缘侧设备具备虚拟化能力，提供 IoT 管理方式，丰富的北向接口提供精准的状态反馈与管理颗粒度；云端除了集中算力和存储资源外，亦需强化对终端、边缘设备的南向管控。

（2）数据协同

在基于视频类应用的边缘计算场景中，边缘与云端数据的有效协同是为用户提供优质视频服务的必要条件。边缘侧可以提供区域化、个性化的本地服务，同时降低回传网络负载压力；与此同时，边缘侧也可以将接入的本地资源与网络其它部分隔离，将敏感信息或隐私数据控制在区域内部。

对于视频类数据，应具备三种数据协同能力：

 精准分发

边缘计算的特点是灵活、分散、数量大，边缘节点与云端应搭建精准分发调度体系，通过创建精确调度索引，实现海量数据向海量节点的精准分发

 区域定制

边缘计算的出发点是面向场景化提供更优质的服务，对于视频类数据协同，边缘节点需具备区域热点数据自动分发及区域内容用户自定义的运营能力，以满足不同场景需求。

 数据安全

边云数据协同应加强安全可控的能力。边缘计算节点的设施数量、能力存在一定限制，缺少足够的备份、恢复、审计措施，依托云端数据与边缘数据有效协同，为边缘数据提供全方位安全防护

（3）服务协同

视频类服务最终的发展方向是通过边缘计算为用户提供优质的更高效、优质、精细化的服务，边缘计算节点使分布式计算渗透到网络的各个位置，对海量边缘节点统一管理和终端服务精细化控制的需，要求端、边、云有效协同搭建管理与安全服务体系。

在容器化部署方面，支持弹性伸缩，支持边缘应用生命周期管理，帮助用户在云端统一对边缘应用进行管理、监控和运维。同时，根据业务需求、预设策略及实时调度手段，自动调整计算和存储资源，快速响应业务负载的增长和下降，保障业务健康。

在服务自洽和本地自治方面，因为边缘区域的网络条件难以达到骨干网的服务保障水平，边缘节点的管理服务、承载业务，在一定程度上需要具备服务自洽和本地自治能力，边缘节点与云端网络断开后，业务和本地管理功能可以正常工作。

在安全服务方面，边缘计算节点应提供计算、网络、存储等可信的、规范的基础资源，提供应用监控、应用审计、访问控制、数据加密等能力。

在运维管理方面，边缘管理平台应向集中管理平台提供接口进行配置管理、故障管理和状态管理。其中，配置管理是指集中管理平台可以进行激活/去激活 DNS 规则、配置业务规则等；故障管理是指集中管理平台接收边缘平台相关的报警信息；状态管理是指将已经实例化的应用的操作状态暴露给集中管理平台。

（4）应用协同

边缘计算场景下视频类业务的正常服务，依赖“端”、“边”、“云”三者的有效协同，从而实现视频文件的精确分发和应用请求的精准调度。

端云交互实现设备集中管控、请求精确调度；边云交互实现计算存储下沉、应用自动注册；端边交互实现文件快速交付、边缘服务发现。

在端侧，边缘计算的能力带来 VR/AR、4K/8K、云游戏等新的终端应用，与之对应，端侧设备需要增加对“边”的发现和识别，包括发现边缘节点、发现下沉的边缘服务、发现下沉服务的具体交付情况等，并对用户呈现，引导体验升级。

在边缘侧，计算、存储、网络等能力进一步下沉到接近用户的网络边缘，实现批量化部署。边缘侧与云侧联动，完成服务的自动化注册与管理，使海量边缘节点的统一管理与节点自治能力达成统一；尤为重要的是，在“边”上提供用户对服务的发现能力，让期望的服务真正由边缘计算节点完成交付。

在云侧，充分发挥资源集中、管理集中的优势，成为视频类应用用户体验的“总控室”。首先在云端完成视频内容的生产、监管、运营，并通过 AI 技术增强内容生产、分发、交互能力；同时云端提供的调度系统与边、端联动，实现面向用户请求的精准调度。

基于边缘计算场景的应用协同，在每一个具备独立网络接入和计算能力下沉的节点部署具备唯一 ID 标识的业务逻辑定位服务，为边缘服务云端注册、终端发现边缘服务、云端响应终端请求、精确调度边缘交付等提供重要支撑，有效实现端、边、云联动。

（5）边边协同

P2P CDN、交互式云游戏等新型视频应用，为了实现业务快速流畅切换，需要在集中云管平台的管理下，实现不同边缘节点之间的数据，状态，信息等方面的协同。边缘节点之间的协同主要包括以下几个方面：

 业务协同

完整的视频服务往往并不是某单一类型的边缘服务所支撑的，如当前主流视频网站的内容点播，往往包含标准 CDN 内容分发、P2P 内容下载等多种文件获取方式，需要具有不同业务属性的边缘节点之间有效协同。因此，各边缘节点通过向云端管控平台注册业务属性信息，由云端管控平台维护所有边缘节点属性信息，并与各边缘节点同步，实现不同业务属性边缘节点的相互感知。

 网络协同

边边网络需要保障边缘节点之间数据传输透明且安全，支持Fullmesh 和安全加速。Fullmesh 就是边边网络实现的边缘节点之间的直接通讯，无需通过中心绕道；安全加速是基于由众多边缘节点构建的分布式传输加速网络来克服互联网数据传输稳定性、跨运营商网络传输速度瓶颈等问题，为应用提供透明的边边数据传输加速的体验。

 状态协同

边缘节点之间的应用或业务状态信息协同。边缘节点除了和中心节点需要做数据交互之外，边缘和边缘之间的数据交互也是非常必要的，边缘和边缘协同有效帮助用户解决在不同的边缘之间的流畅切换，例如：用户在高速移动（驾车或者高铁等）场景使用边缘计算业务，需要能快速在不同的边缘节点之间的做状态信息的同步，以保证用户业务不受边缘节点切换的影响。

 算力协同

当前各类视频类应用往往会为用户提供点播、直播、互动、采集、编辑、上传等多种不同能力。由于不同视频业务的算力需求不同，因此对边缘节点的硬件需求存在差异，如存储增强型节点、GPU 渲染增强型节点、采编增强型节点等。为了向用户提供完整、优质的应用体验，集中云管平台需要在感知边缘节点算力能力的基础上，实现不同算力类型的边缘节点之间的相互协同。

1.5 云端集中管理平台

（1）视频设备管理

接入边缘侧的视频设备，是视频业务流量的生产者。云端管理平台需要对接入边缘侧的视频设备进行集中管理，并与边缘侧管理平台进行协同，确保视频监控、视频数据分析等视频类业务可以有效、安全地利用海量视频设备，对设备行为进行控制。

云端集中管理平台的视频设备管理功能，具体包括设备感知、状态管理、设备绑定等。设备感知方面，云端集中管理平台对接入边缘侧的视频设备，应通过与边缘管理平台协同，获取接入视频设备的相关信息。此外，云端集中管理平台还应支持 SDK、ONVIF 等视频设备接入协议，感知直接接入云集中管理平台的视频设备；状态管理方面，云端集中管理平台应支持对接入设备的运行状态进行监控；设备绑定方面，对于接入云端集中管理平台的设备，应支持设备与边缘节点的绑定，使设备可以被边缘侧应用获取。

（2）边缘节点管理

边缘节点位于企业现场设备到传统云计算中心节点之间的任何位置，通过云边协同，形成“云+边+端”智能计算基础设施，通过集聚边缘应用能力，赋能数字化转型。

运行于云侧的集中管理平台需具备边缘节点注册、边缘节点纳管、边缘节点状态管理等相关功能，实现对边缘节点的管理。一个新的边缘节点配置边云北向通信协议、在云端集中管理平台完成节点注册；云端集中管理平台根据注册信息，纳管边缘节点，获取边缘节点运行状态信息。

在管理规模方面，采用云/网一体化方案的厂商，一般采用OpenStack 把边缘节点当成普通计算节点管理的 SD-WAN 方案。但是对于运营商的规模部署要求而言，缺乏必要的可伸缩性。例如通用云平台一般只能管理数百个边缘计算节点，而运营商 5000+的边缘机房通过扩展，已经成为 5000+边缘视频云存储节点。IBM 基于 Redhat 推出的新边缘技术解决方案中，核心组件 Edge Application Manager可以管理 1 万个边缘节点。

（3）视频应用管理

边缘侧和云侧均提供了运行视频应用所需的软硬件环境，通过虚拟化、微服务、Serverless 等技术，实现云侧集中管控、边侧部署执行的应用/服务管理模式。

在图 2 所示的面向视频领域的边缘计算总体架构中，运行在边缘侧的管理平台应具备视频应用生命周期管理的能力，并向云端集中管理平台提供应用生命周期管理 API；云端集中管理平台利用应用管理API，并结合应用部署需求以及资源状态，实现视频应用的创建、编排、部署、更新、卸载等应用管理功能。此外，云端也分担一些对算力需求大、实时性要求较低的边缘视频应用，例如：在视频分析应用中，云侧负责根据边缘侧产生的视频数据进行 AI 训练，将训练好的模型反馈到边缘侧进行推理。

（4）资源监控调度

在边缘计算架构中，不同层次的边缘节点所拥有的计算能力不同，边缘侧的管理还包括边缘节点的负载分配。边缘云本身具备分层结构，例如边缘云节点包括集中式和区域性的数据中心节点与较小的边缘/远边缘数据中心节点。负载分配实质是应用/服务工作负载的分配功能，即根据应用/服务的不同需求和特性（例如智慧城市的视频监控要求边缘节点能够快速调取，实现摄像头故障后的快速替换），将工作负载合理有效地分配到各层边缘节点上。

云边协同模式下，企业 IT 运营模式核心从基础架构转变为以应用为核心，需要结合本地传统数据中心（本地 DC）和云服务来找到部署应用程序的“最佳执行地点”。边缘节点的负载分配涉及的关键指标包括：用户需求、时延、带宽、能耗及成本等等。针对不同的边缘处理任务，需要设置各个指标的权重和优先级，便于选择最优分配策略。例如边缘节点成本分析不仅需要在节点部署前进行，后继还需要在节点部署后运作过程中进行，例如实时根据不同节点之间分发负载干扰和资源使用情况来进行分析。

1.6 视频应用

（1）视频监控

随着平安城市、“雪亮工程”等项目的规模化部署，视频监控设备的需求与日俱增，产业规模也不断扩大。作为安防系统的基础，视频监控设备与边缘计算技术融合，可以解决视频监控设备的算力资源问题，满足对视频采集数据智能化的处理需求。

视频监控设备实时地采集视频流/图片数据，通过智能网关设备拉取数据流，并上传至边缘侧，进行数据分析，抽取其中图像清晰的关键帧图片进行识别，将分析后的数据回传至智能设备（也可在边缘智能网关设备进行一定量数据分析、响应）。当存在某些图片信息无法识别，需要数据标注工具对特征进行标注后将图片上传到训练库中，通过训练引擎进行模型训练，最后将模型训练生成的模型更新到智能网关中，持续提升识别准确性。

边缘侧不仅能够对采集的视频数据提供计算、存储资源，也能实现数据清洗、数据治理，同时能够回传中心节点进行数据分析、可视化展示，实时展示“智慧城市”治理或者服务流程和数据信息。

（2）超高清视频

目前视频内容的不断丰富，视频形式及应用场景的不断创新，如4K/8K 超高清、AR/VR 等，视频行业已进入一个爆炸式发展的时代，高流量，高并发、高感知成为这个时代的主要特征。5G 时代衍生而来的海量超高清视频意味着异常庞大的文件存储容量、超高清视频的边缘快速加载、高时效性的多媒体应用实时转码等多项需求。

超高清视频具备高分辨率、高帧率、高色深、宽色域、高动态范围等特点，相关应用的普及意味着单位时间内向单用户传递更多的数据量，除视频生产和消费终端的迭代升级外，边缘计算将发挥重要作用。

考虑超高清视频在线点播的超高带宽，骨干承载网难以应对大批量超高清视频并发，而且云端的 CDN 也无法通过简单堆叠来应对流量的爆炸式增长，必须依靠边缘计算技术与 CDN 技术的有效结合，在更接近用户的网络位置，实现内容的精准分发和调度，使 CDN 在面向用户服务时具备更快的响应速度、更大的单用户带宽保障。

CDN 的部署位置直接影响到超高清视频业务的整体时延。通过在边缘侧部署 vCDN，使 CDN 部署位置下移，并结合区域热点预判技术+区域用户内容定制能力，可以有效的卸载骨干网络带宽压力，提升用户体验，并在一定程度上，有助于优化带宽成本。

播放终端的升级将进一步扩展超高清视频的消费方式，从影院快速进入家庭甚至移动播放场景，而边缘计算的引入以及端、边、云的有效协同，为超高清视频分发提供了有力保障，将推动 4K/8K 超高清视频的普及。

（3） AR/VR

近年来虚拟现实（VR）和增强现实（AR）技术不断进步，相关产业得到了蓬勃发展。如今，VR/AR 技术已经进入到影视、游戏、教育、医疗、旅游、军事、房地产等各种与人们生产、生活息息相关的领域中。

当前主流的 VR 设备有两类，一类是 VR 一体机，在头戴式显示设备中集成计算、输入、输出等功能，拥有很高的自由度，一般用于观影和简单交互游戏；另一类是外接式 VR，依托外接主机提供更强的CPU/GPU 能力，以牺牲自由度为代价，提供更强的交互体验。

除以上当前主流 VR 设备外，伴随 5G 和边缘计算技术的发展，cloud VR 成为 VR 技术的新宠。云 VR 技术将 VR 内容和渲染的处理放到云端，解放了 VR 终端设备的硬件限制，让更高自由度、更高舒适度的 VR 终端成为可能；而边缘计算技术为云 VR 用户提供了近端视频渲染、超大带宽传输的能力，解决了从中心云提供服务带来的视觉延迟问题，从根本上解决了云 VR 的体验难题。

（4）云游戏

针对传统游戏对硬件设备门槛高、游戏耗电严重等痛点问题，云游戏是以云计算为基础的游戏方式，游戏主体在云端服务器运行，通过网络传输游戏画面、音频和控制信息，实现流畅清晰的用户游戏体验。

用户和服务器互动时会有大量的数据传输。在这两者之间有两类流，控制流负责发送控制信号，当用户使用输入设备如键盘、鼠标、摇杆时，信号会被编码到发送列表中，通过网络被游戏服务器接收，接收后，信号将被解码到游戏控制系统。在此之后，数据流被启用，将新的音频、视频数据编码传输给用户，用户再反解码并将它们呈现在屏幕上。

云游戏对网络带宽、网络延时、云端响应、图形渲染的要求都极高，整体时延要求达到 80ms 以内，网络时延达到 40ms 以内；对于 VR类沉浸式云游戏，整体时延更是要求达到 20ms 以内才可以减轻用户的眩晕感。

然而，由于早期技术和网络发展的滞后，网络延时和带宽成本难以满足云游戏的体验要求。当前 5G 技术的不断发展与完善，全新的低时延空口技术以及更靠近用户的边缘计算，让对带宽时延要求高的云计算场景得到进一步实现与推广。

（5）视频直播

近年来直播行业发展迅猛，体育赛事、网红带货、游戏电竞、才艺表演等各种直播类型都走入大众视野，直播应用在互联网总流量中有很大占比。

从技术角度来看，视频直播场景通常包括音视频推流、转码、分发、播放等核心业务模块，以及弹幕、打赏礼物等互动业务逻辑，在用户体验上对清晰度、播放流畅度、播放延时等具有较高要求。边缘计算应用于视频直播应用，将给视频直播带来三方面的重要变化：

 降低延时，提高实时性

 优化分发，有效降低成本

 能力拓展，带来新的直播方式

首先，通过边缘计算技术可以在近用户侧部署算力资源，快速接收直播推流并完成转码，将完成生产的直播内容传入内容分发网络，等于将直播内容的生产过程从大型云端机房下沉到了更接近用户的网络边缘，实现内容生产直接进入内容分发阶段，可有效降低直播的演示，提高实时性。

其次，通过边缘计算技术进行分发优化，将直播视频流推送到更接近用户的边缘节点，可以大量减少直播数据流在骨干链路中的并发数量，避免网络拥塞，同时可以有效降低厂家的网络成本。

此外，边缘计算为直播应用带来能力的拓展，更大的带宽，更低的时延，边缘侧 AI 能力的下沉，结合播放终端的升级，为直播应用创新升级带来了肥沃的土壤，相信多屏直播、多机位直播、实时回看、定制直播、全景直播、特效直播等新的业务模式，会在边缘计算技术的加持下得到快速发展和普及。

2 面向视频领域的边缘计算技术实现

2.1 流量分流

流量分流是通过建立本地边缘节点，把部分视频业务导向本地网络或者分流到边缘，缓解传输带宽压力，减少时延，提升用户感知。

边缘节点通常根据业务需求，为不同客户配置不同分流策略：

（1）针对 4G/5G NSA 业务，将边缘节点采用二层模式串接于 S1口，通过配置 IP 五元组（IP 地址+端口号）、DNS 目标域名解析等规则方式将业务分流至本地；对于来自于 EPC 的下行流量，则由 MEC 网关透传到 eNodeB，由 eNodeB 正常发给 UE 终端。对于来自于本地特定网络的下行流量，则由 MEC 网关基于协议分析结果封装成相应的GTP-U 报文后转发给 eNodeB，由 eNodeB 正常发给 UE 终端。由于采用二层串接模式，因此部署位置应比较靠下，面向专享型客户。

（2）针对 5G SA 业务，基于 5G 核心网采用 C/U 分离架构，用户面按需分布式部署，实现流量本地卸载。此时分流方式有以下三种：

 上行分类器分流,网络侧根据业务需求，基于 IP 五元组实现上下行分流，UE 无感知，即根据 SMF 下发的过滤规则，通过检查数据包目的 IP 地址进行分流。该方案适用于访问本地业务场景，如本地内容访问企业网、增强移动宽带（eMBB）场景本地分流业务等。

 IPv6 多归属分流，方案中分支点（BP）根据 SMF 下发的过滤规则，通过检查数据包源 IP 地址进行分流。IPv6 多归属主要解决同 1 个 PDU 会话、多个 IPv6 地址的问题，根据地址对业务按需分流。该方案适用于物联网、高可靠性专网等场景，但由于要求 UE 须支持 IPv6，目前实施难度较大。

 本地数据网分流，通过终端判断自身位置，如终端处在本地数据网络（LADN）服务范围，则发起携带 LADN 数据网络名称（DNN）的会话建立请求。

以上 3 种分流方式都需要 UPF 和 5GC 的参与，但对终端和网络要求依次升高。

2.2 能力开放

能力开放方面从实际的业务需求来看，边缘不仅需要具备 CT 的能力，还需要具备 IT 能力，包括视频编码、视频转码、视频渲染、大数据、机器学习等，例如 5G 新型应用（VR/AR、4k/8K）由于业务时延的要求，必须由边缘平台提供相应的视频处理能力。

以 MEC 为代表的边缘平台，能够集成网络能力，融合云计算平台和大数据等能力，使能第三方应用部署在网络边缘，是 5G 的关键技术之一。基于 MEC 开放平台，可以为应用开发者提供丰富的网络能力和平台服务能力和统一的标准化 API，为运行在 MEC 平台上的 MEC 应用提供无线网络信息、位置信息等多种能力的开放服务。

网络服务能力开放包括网络及用户信息开放、业务及资源控制功能开放，主要包括支持 4G/5G/WiFi 多种网络本地分流能力，支持 NAT，路由策略配置，DNS 服务，虚拟防火墙 VFW，UE Identity 服务，带宽管理服务和业务负载均衡等。

在 MEC 网络能力的基础上，针对各种垂直行业不同的业务需求提供各类“联接+”的融合能力，例如针对视频直播类业务提供“联接+视频编解码、视频渲染”能力，针对制造行业提供“联接+视频 AI”能力。例如借助无线信息开放，可以实现无线侧和应用层跨层信息交互和联合优化，例如 MEC 平台通过北向接口获取 OTT 视频业务的应用层及 TCP 层信息，同时通过南向接口获取 RAN 侧无线信道等信息(如：RNIS、LocationService 等)，双向跨层优化来提升用户的感知体验。

2.3 计算卸载

计算卸载是指某个计算过程从移动设备迁移到有更多丰富资源的云服务器上，通常是指将某个计算量大的任务根据一定的卸载策略合理分配给资源充足的远程设备处理的过程。

结合视频业务，典型的业务类型包括：

 大数据量输入和大数据量输出，比如数据量较大的文件或者视频进行格式转换；

 小数据量输入和大数据量输出，比如移动用户请求的音频和视频文件等。

基于 MEC 的计算卸载方案，关键技术及实现包括卸载策略和计算资源分配策略、计算卸载的移动性管理三个方面。

（1）卸载策略

一般情况下，移动终端的计算卸载方式主要有本地执行、卸载到MEC 服务器执行、卸载到云计算服务器执行三种方式。卸载方式主要基于可分配到的资源大小、计算和回传时间的长短以及完成计算的功耗大小来进行决策。

 最小化执行时延的卸载决策

该决策通过比较本地执行时延和卸载执行时延（包括数据卸载时间、计算处理时间、数据返回时间）的大小来选择卸载方式。当执行时延小于卸载时延时，移动终端选择在本地执行计算任务；当卸载时延小于执行时延时，移动终端选择将就计算任务卸载到 MEC 服务器上。

 最小化能量损耗的卸载决策

在本地计算场景下，能量消耗主要是移动终端在执行本地计算时的能量消耗，计算卸载场景下，能量消耗主要是计算任务上传和计算结果下载的能量消耗之和。在满足业务时延要求的条件下，选择能量消耗小的方案进行卸载决策。

 基于时延和能耗权衡的卸载策略

在不同场景下，时延和能耗的要求不同，比如实时性在线游戏和视频服务，对时延要求较高，当用户电量较低时，对能耗要求较高，所以需要基于通信和计算资源分配进行卸载决策。

（2）计算资源分配

当接入同一个基站的多个用户同时发起卸载请求时，会涉及资源分配的问题。调度器根据目前网络资源的状况以及不同用户的时延要求来安排响应的 MEC 服务器并分配计算资源。

 单节点计算资源分配

单节点是指一个基站（MEC 服务区与基站绑定）在一个时隙内只能服务于一个计算任务。单节点的计算资源分配方案包括借助于云计算进行资源分配和借助于基站间的迁移进行资源分配。

 多节点计算资源分配
多节点是指一个基站（MEC 服务区与基站绑定）在一个时隙内可以服务于多个计算任务。基站优先服务自己的用户，以确保最小的时延损耗。

（3）计算卸载的移动性管理

在用户进行计算卸载的过程中，由于用户的移动性，将会有一定概率出现用户与基站断开连接的情况，需要保证用户移动时计算卸载过程的完整性。

 基于功率控制的移动性管理

针对用户移动性较低的场景，在应用卸载给 MEC 处理的过程中，自适应地动态调整基站的功率来保证服务的连续性和不中断。

 基于虚拟机迁移的移动性管理

针对用户切换到新的服务基站的场景，通过计算节点间的虚拟机迁移来保障服务的连续性和不中断。

2.4 消息路由

消息路由即通过路由规则动态规划消息的传输路径，使消息按照过滤条件，从消息源节点路由到目标节点。云侧对边缘计算网络进行统一管理，通过消息路由实现对数据转发的灵活控制，避免网络拥塞，提高边云协同、边边协同的效率。

当前消息路由主要针对以下三类消息：

 边缘侧与云侧之间的消息：边缘侧与云侧通过 IP 网络，在数据、服务、资源等方面进行协同。

 边缘节点之间的消息：在互动直播等视频应用场景下，边缘侧之间需要进行消息传输，使视频源数据可以快速稳定地转发到不同的边缘节点。

 端侧和云侧之间的消息：在部分物联网应用中，端侧设备直接连接到云侧物联网平台，上送采集信息。

以 SDN、NFV 为代表的网络虚拟化技术，是消息路由使能的关键技术。SDN 技术侧重“转控分离”，NFV 技术侧重“软硬解耦”，两种技术相结合，可以对边缘计算网络进行灵活管控，根据网络运行状况，动态调整网络资源的分配，实现端到端的高效数据转发。

2.5 边缘视频存储

边缘视频存储是指视频数据直接存储在数据采集点或者本地数据中心，而不需要把采集的数据通过网络（即时）传输到存储的中心服务器（或云存储）的数据存储方式。

边缘视频存储主要应用于视频分发缓存场景和安防监控类写缓存场景，包含了读缓存视频存储和写监控视频存储两类存储。

边缘视频存储在不同场景中的技术实现包括：

（1）视频点播中的边缘视频存储

对于当前流行的互联网点播、视频直播等视频应用场景，在边缘进行视频存储可以降低大量的视频内容传输对骨干网传输带宽的占用。

针对视频点播应用，边缘视频存储主要应对的是用户下行拉流所带来的流量，在边缘节点进行热点视频的存储可以距离边缘节点更近的用户所产生的流量引导到边缘节点，可以大大提高用户的视频观看体验。具体的技术方案如图 4 所示。

边缘视频存储中由于边缘节点的存储容量的有限，需要根据实际情况去采用合适的缓存策略、资源协同策略、流量分流策略等去满足不同区域的用户对不同的热点视频的需求。目前在视频缓存策略上比较传统的有最近最少使用（LRU，Least Recently Used）算法、最近最不常用（LFU，Least Frequently Used）算法。随着边缘计算中边-边协同、边-云协同的出现，在边缘侧采用更加智能化的缓存技术将成为趋势。

（2）边缘监控中的边缘视频存储

边缘监控视频存储主要面向视频安防监控行业，在边缘节点和用户侧部署边缘存储服务，加速视频数据边缘上传，自动同步边缘中心数据，有效解决上传链路差，带宽利用率低等行业痛点，降低本地存储成本。

（3）通用场景下边缘存储功能

短期内边缘计算最先落地的场景会在互联网视频领域，即直播、点播、云游戏等强互动、超高清、沉浸感的场景，对低延时、大带宽、数据传输有要求。为了满足各类场景的用户需求，边缘计算节点支持边缘文件存储、边缘对象存储、本地盘存储，同时也提供容器数据共享和持久化存储解决方案。

边缘对象存储应提供稳定、安全、高效、高可扩展的边缘对象存储服务。

边缘文件存储应提供简单可扩展的边缘文件存储服务，通过标准的文件访问协议，为边缘虚机、容器等计算资源提供无限扩展、高可靠、全球共享的文件存储能力，实现数据共享和协作。

边缘块存储应提供低时延、持久性、高可靠和高弹性的边缘块存储服务。

2.6 边缘视频编解码

边缘视频编解码是边缘计算中进行计算卸载的典型应用，将对计算能力需要高的视频编解码运算迁移到边缘服务器上，可以有效的降低用户对终端计算能力的需求，同时对于移动设备可以降低计算带来的功耗。

首先是上行业务，以手机直播为代表的的上行业务逐渐火热，采用移动手机作为直播端的视频采集设备越来越广泛，虽然随着手机性能的不断提升，但是手机侧的编码能力相比专业的视频采集处理设备还是不够，因此通过边缘计算将一定的编码计算需要卸载到边缘节点,一方面能够降低终端设备的硬件条件，另一方面通过在边缘侧对原始视频进行一定的处理之后比如压缩编码再上传到视频分发服务器，能够减少承载和骨干网的上行压力。针对 AR 视频业务还可以实现边缘VR 实时拼接服务，在边缘侧进行视频实时拼接、编码可以实现内容的快速分发。具体技术实现如图 5 所示。

视频采集设备将视频流传输到边缘的视频编码服务器，经过处理的视频流通过核心路由上传到媒体分发平台进行下行的分发服务。同时很多场景下内容本身具备很强的区域性特点，对于这样的视频的处理没有必要返回到云端的数据中心进行处理，在边缘处进行处理并在边缘处消费是更加优化的方式。

下行业务上，边缘视频的解码服务在将来的 VR、云游戏等场景上将体现出来，将 VR、云游戏中大量的解码计算卸载到边缘视频解码服务上，能够降低设备的硬件成本和耗电量，具体技术如图 6 所示。

2.7 边缘视频智能处理

边缘视频 AI 能力主要针对边缘节点上的视频信息进行 AI 加工处理和 AI 算法的管理，并通过编排功能支撑多算法组合、调度等。

边缘视频智能处理主要包括：

（1）视频基因

视频基因是将视频的特征转换成信息字符串的新一代信息技术，具有稳定性，不会随音视频文件的格式转换、剪辑拼接、压缩旋转等变换而发生变化；同时具备高精度识别能力，可适配视频压缩、视频镜像、视频旋转等；因此可支撑多种业务场景，如视频查重、相似度识别、原创识别等。

（2）视频大数据

依托人脸识别、OCR、视频图像结构化分析技术，可以快速定位视频中的内容，形成视频大数据，对视频节目进行智能打点，实现快速检索与定位；另外可通过视频大数据，为观众提供语音交互服务，识别人脸，展示人员简介信息，并关联推荐相关内容。

（3）边缘视频智能分析

边缘侧的视频智能分析支持视频流上云、存储、转发、视频 AI 等功能，提供视频算法以及云边协同（算法云端训练、云端下发、边缘计算推理）服务。用户可以在云端对视频内容进行高效分析和审核，从视频、语音、文字、公众人物、物体、场景等多个维度进行识别后，通过交叉比对、自然语言处理等技术处理，输出对视频的场景、公众人物、地点、实体和关键词的结构化标签信息，从而提高搜索准确度和用户推荐视频的曝光量。支持对直播视频、直播音频、直播弹幕评论、视频、语音、图片的审核，从涉黄、涉政、暴恐、违禁、广告多个纬度进行审核，快速发现违规内容，同时利用 OCR 技术对图片中的文字内容进行审核，支持自定义人脸识别。

边缘视频的智能分析主要具备几个特点：第一是视频接入和分析的一体化，边缘视频分析提供视频接入、处理、分发全流程、自动化、智能化的调度和分析；其次支持算法托管和云边协同，在边缘侧和设备侧部署支持多平台硬件加速的算法容器，云端算法模型管理下发到边缘进行推理，支持从算法市场实时调用、更新算法模型，同时依托算法生态进行算法托管与分发；第三是数据安全和模型安全，云端为算法模型提供加密和版权保护和安全的数据分发链路，保障算法模型的安全传输和应用。

（4）边缘 AI 模型训练

由于设备端存在 CPU、内存、时延等方面的限制，许多解决方案如无人驾驶、预测性机械维护、机器人等仍需要实时分析能力。云端AI 模型的训练和实时传输可降低对设备的要求，简化模型训练和更新，无需进行复杂的设备部署。例如，无人车可以基于云端的实时预测来确定位置，避免碰撞。电梯可以将数据、模型实时上传，做到故障实时反馈和预警。

在边缘 AI 模型被部署之前，AI 应用首先需要基于大量的特征数据（即训练样本）来训练 AI 模型（如深度神经网络）。由于物联网场景下的训练数据通常以分布式的形式产生和存储在不同的用户设备中，因此，如何以较低的通信开销、较好的收敛性更安全的隐私保护来进行 AI 模型的分布式训练就显得尤为重要。

（5）人脸解析算法服务

图片人脸特征提取服务、实时视频人脸特征提取服务、人脸 1:1比对服务、人脸 1:N 比对服务、人像目标库检索服务、人脸布控服务、人脸告警推送服务等，满足安防监控、门禁考勤、人证对比等场景的人脸识别需求。

（6）车辆解析算法服务

车辆解析算法服务包括实时视频车辆特征提取服务和视频文件车辆特征提取服务，分别支持对实时视频和离线视频文件中的车辆进行检测提取，识别输出车牌号码、车辆类型、车牌颜色、车辆品牌、车身颜色、车前部物品（检测标志、挂饰、主遮阳板、副遮阳板等）、车辆型号、附属物（主驾安全带、主驾打电话等）等车辆属性特征信息。

（7）行人解析算法服务

行人解析算法服务包括实时视频行人特征提取服务和视频文件行人特征提取服务，分别支持对实时视频和离线视频文件中的行人进行检测提取，识别输出上衣种类、上衣颜色、下衣种类、下衣颜色、性别、年龄阶段、附属物（戴帽子、背包、骑车等）等行人属性特征信息。

2.8 边缘视频处理加速

目前边缘视频 AI 处理加速在各个场景下得到广泛的应用。以深度学习为代表的，AI 处理过程需要高效处理大量非结构化的视频数据，要求硬件具有高效的计算能力。目前业界通过在边缘侧部署“硬件+软件”异构计算环境，实现视频处理加速，如图 7 所示。

云侧通过部署异构计算环境以及大数据和人工智能平台，负责执行智能数据分析、模型训练任务、以及部分带宽占用低、非时延敏感的推理任务；与云侧相比，边缘侧的算力资源更少，主要执行数据传输带宽压力大、实时性要求高等推理任务；部分端侧设备也配置了低功耗的专用芯片，对采集数据进行分析处理。

此外，通过算力资源调度，优化资源配置，也可提高视频处理效率。音视频数据通过边缘可靠链路高速上传并由边缘计算服务及时处理，可极大降低关键业务延迟，加速视频分析处理链路。通过智能调度就近优质链路，并提供节点内存储及计算服务，全方位降低响应时延。各地的服务通过边缘节点的虚机和容器提供计算服务，可以让用户做到对底层服务无感知。边缘场景的整体基础设施及运维能力，也满足客户多应用场景需求并提供业务快速复制能力。

在视频上传场景中，就近接入边缘节点，视频文件上传速度将提升 50%，同时因减少传输链路使得上传成功率提高至 99%以上。另外，也可引入多个节点存储集群，保证边缘环境存储功能的可靠性。