来源：半导体行业观察

边缘计算是数字世界中最令人兴奋的新概念之一。利用占用空间很少的微型数据中心网络，边缘计算使系统能够实时收集并分析重要数据，而不会增加现有基础设施的负担。

在物联网系统中，通常以端到端的方式，在特定的高度传感器密集型环境中获得大量数据，且数据是在边缘生成并处理的，以降低延迟并减轻数据中心的负载。此前，边缘计算的重点是连接在物联网上的设备的技术，比如工业机器人。

不过，随着技术的不断发展，大数据、IoT 和AI的组合带来了无限潜力，对于边缘计算的需求已经从解决由IoT生成的数据增长而导致的数据长距离传输的带宽成本问题，进化至处理实时应用程序。在这类组合中，边缘计算需要满足低延迟、加速实时创建和支持应用。

什么是边缘计算？

边缘计算有很多术语，包括“边缘云计算”和“雾计算”。“边缘计算”本身通常被描述为在本地服务器上运行的应用，旨在让云进程更靠近终端设备。

“企业计算”与边缘计算类似，但更倾向于准确地描述网络功能，却非描述计算的位置。“雾计算”概念是由Cisco创造的，许多人将其定义为位于边缘计算空间上下的计算，甚至作为边缘计算的一个子集。

作为参考，端点设备和端点通常被称为“边缘设备”，以免与边缘计算相混淆。边缘计算可以采用多种形式，包括小型聚合器、本地服务器或微型数据中心。微型数据中心可以按区域分布在永久性或可移动的存储容器中。

边缘计算的价值

一般来说，传感器、摄像头、麦克风以及一系列不同的物联网和移动设备从其所在位置收集数据，再发送到集中式数据中心或云中。

数据显示，到2020年，全世界会有超过500亿台智能设备实现连接。这些设备每年将产生以泽字节(ZB)计算的数据，到2025年将增长到150 ZB以上。这些数据发送到云会带来一些重大问题。

首先，150ZB的数据会造成容量问题。其次，将大量数据从其原始位置传输到集中式数据中心代价高昂。据估计，目前只有12%的数据得到了分析处理，而只有3%的数据有助于产生有意义的结果，剩余97%的数据在收集和传输之后，就被浪费了。第三，存储、传输和分析数据能耗巨大。因此，我们需要找到一种有效的方法来降低成本并减少浪费。

引入边缘计算，在本地存储数据，可以降低传输成本。同时，利用AI功能也能够消除数据浪费。例如，现在正在使用中的新型低功耗边缘计算服务器CPU，它们以GPU和ASIC或一系列芯片的形式连接到AI加速 SoC。

除了解决容量、能源和成本问题外，边缘计算还可以提高网络可靠性，因为应用可以在发生普遍的网络中断期间继续运行，通过清除某些威胁配置文件（例如全局数据中心拒绝服务 (DoS) 攻击），可以提高安全性。

最重要的是，边缘计算能够为实时场景（例如虚拟现实商场、移动设备视频缓存）缩减延迟，同时在自动驾驶汽车、游戏平台或快节奏制造等环境中创造许多新的应用机会。

5G成为边缘计算的最强推动力

5G基础架构是边缘计算最具说服力的驱动力之一。5G电信提供商发现，除了传统的数据和语音连接之外，他们还可以构建生态系统以托管独特的本地应用。通过将服务器置于基站旁边，蜂窝流量提供商可以向第三方主机应用开放其网络，从而改善带宽和延迟。

Credence Research认为，到2026年，整个边缘计算市场的价值将为96亿美元左右。相比之下，Research and Markets分析认为，移动边缘计算市场将从今天的几亿美元增长到2026年的超过27.7亿美元。尽管电信行业可能是发展最快的增长动力，但是据估计，它们仅会占据边缘计算市场总量的三分之一。这是因为web scale、工业和企业集团也将为其传统市场提供边缘计算硬件、软件和服务，期望边缘计算也将开创新的应用机遇。

比如目前大众快餐店的厨房正朝着更加自动化的方向发展，以确保食品质量，减少员工培训，提高运营效率并确保客户体验达到预期。Chick-fil-A 是一家连锁快餐企业，2018 年 他们宣称：“通过提高厨房设备智能化，我们能够收集更多数据。通过这些数据，我们可以构建更多智能系统，进而拓展业务。”他们还指出，在边缘计算的帮助下，许多餐厅现在可以处理的业务量提高到之前的三倍。

总体而言，成功的边缘计算基础架构需要结合本地服务器计算功能、AI 计算功能以及与移动/汽车/IoT 计算系统的连接（图 1）。

图 1：边缘计算通过使用微数据中心来分析和处理数据，从而使云计算过程更靠近终端设备

用实例了解边缘计算

为了解使用边缘计算带来的延迟改善优势，罗格斯大学和 Inria 使用 Microsoft HoloLens分析了边缘计算（或称“边缘云”）的可扩展性和性能。

在案例中，HoloLens 读取条形码扫描仪，然后使用建筑物中的场景分割功能将用户导航到指定房间，并在 Hololens 上显示箭头。该过程同时使用了映射坐标的小数据包和连续视频的较大数据包，以验证边缘计算与传统云计算相比延迟的改善。HoloLens 先读取二维码，然后将映射坐标数据发送到边缘服务器，该服务器使用了 4 个字节加上标头，花费了 1.2 毫秒 (ms)，服务器找到坐标，并通知用户该位置，总共耗时 16.22 ms。如果将同样的数据包发送到云，则大约需要80ms（图 2）。

图 2：比较边缘设备到云服务器与边缘设备到边缘云服务器的延迟

同样，他们还测试了在使用 OpenCV 进行场景分割以将 Hololens 的用户导航到适当位置时的延迟。HoloLens 以 30 fps 的速度流传输视频，并在边缘计算服务器中以 3.33 GHz 的频率在配备 15GB RAM 的 Intel i7 CPU 上处理图像。将数据流传输到边缘计算服务器需要 4.9 ms，处理 OpenCV 图像额外花费了 37 ms，总计 47.7 ms。云服务器上的相同过程花费了将近 115 ms，清楚显示了边缘计算降低延迟的明显优势。

该案例研究显示了边缘计算在降低延迟方面的显著优势，但是未来还会有更多新技术可以更好地实现低延迟。

5G 概述了当今延迟少于 1ms 的案例（图 3），而 6G 已经在讨论将其降低到 10 微秒 (µs) 的问题。5G 和 Wi-Fi 6 会增加连接带宽，其中5G 预计将带宽提高到 10Gbps，而 Wi-Fi 6 已经支持 2Gbps 带宽。AI 加速器声称场景分割的时间少于 20µs，这与上述示例技术论文中引用的 Intel i7 CPU 在大约 20ms 内处理每个帧的速度相比，又有了显著进步。

图 3：与图 2 中 10s 和 100s 的 Msps 相比，从 Hololens 到路由器以及从路由器到边缘服务器的带宽改善高达 10Gbps，另有 AI 处理的改进（从 20ms 改善到 20us），往返延迟 < 1ms。

显然，如果边缘计算表现的比云计算更具优势，那么将计算全都转移到边缘设备中不是最好的解决方案吗？很不幸，目前并不是所有的应用程序都是如此（图 4）。在 HoloLens 案例研究中，如果数据使用的 SQL 数据库太大，则无法存储在耳机中。今天的边缘设备，特别是发生物理磨损的设备，没有足够的计算能力来处理大型数据集。除了计算能力之外，云或边缘服务器上的软件比边缘设备上的软件开发成本更低，因为云/边缘软件不需要压缩到更小的内存资源和计算资源中。

图 4：比较云计算和边缘计算与端点设备。

由于某些应用程序可以根据基础架构不同位置的计算能力、存储能力、存储器可用性和延迟能力来合理地运行，因此无论是在云中、在边缘服务器还是在边缘设备中，未来的趋势是混合计算能力（图 5），边缘计算是建立全球混合计算基础架构的第一步。

图 5：安装在 Hololens、边缘服务器和云中的 AI，使混合计算架构能够根据应用需求优化计算、存储器和存储资源。

边缘计算与AI

许多使用边缘计算的新服务都有低延迟需求，因此许多新系统都采用了最新的行业接口标准，包括PCIe 5.0、LPDDR5、DDR5、HBM2e、USB 3.2、CXL、基于PCIe的NVMe以及其他基于新一代标准的技术。与上一代产品相比，这些技术都通过改进带宽来降低延迟。

这些边缘计算系统还增加了AI加速功能。例如，某些服务器芯片通过x86扩展AVX-512向量神经网络指令 (AVX512 VNNI)等新指令提供AI加速。

除此之外，大多数新系统中还添加了自定义AI加速器。这些芯片所需的连接性通常采用带宽最高的主机来实现加速器连接。例如，在具有多个AI加速器的某种交换配置中，由于带宽要求影响了延迟，因此很多系统中采用了PCIe 5.0接口。

除了本地网关和聚合服务器系统之外，单个AI加速器通常无法提供足够的性能，所以需要借助带宽非常高的芯片到芯片SerDes PHY来扩展这些加速器。最新发布的PHY支持56G和112G连接。

图 7：常见服务器SoC位于边缘，根据任务数量、功率、延迟和其他需求，具有不同的处理器数量、以太网吞吐量和存储能力。

AI算法正在突破内存带宽要求的极限。例如，最新的BERT和GPT-2型号分别需要345M和1.5B参数，为了满足这些需求，不仅需要高容量的内存能力，还需把许多复杂的应用放在边缘云中执行。为了实现这种能力，设计人员正在新的芯片组中采用DDR5。除了容量挑战之外，还需要存取AI算法的系数，以进行非线性序列中并行执行的大量多次累加计算。因此，HBM2e也成为一种被迅速采用的新技术，有些芯片实现了单芯片中的数次HBM2e实例化。

图 8：通用AI SoC具有高速、高带宽、内存、主机到加速器，以及高速芯片到芯片接口，用于扩展多个AI加速器。

未来，边缘计算的需求将集中在降低延迟和功率，确保有足够的处理能力来处理特定任务上。新一代服务器SoC解决方案不仅将具有更低的延迟和更低的功耗，而且还将纳入AI功能，也就是AI加速器。

但是很明显，AI和边缘计算的需求也在迅速变化，我们今天看到的许多解决方案在过去两年中已多次取得了进步，并将继续加以改进。

图 9：新一代服务器SoC再加上AI加速器，将加快边缘计算速度

结语

Futuriom曾在《5G，物联网和边缘计算趋势》中写道，5G将成为边缘计算技术的催化剂，使用5G技术的应用将改变流量需求模式，为移动蜂窝网络的边缘计算提供最大的推动力。

总的来说，边缘计算是实现数据快速连接的一项重要技术，它将云服务更靠近边缘设备，降低延迟，为消费者提供新的应用和服务；还将衍生出更多的AI功能，将其扩展到云以外。此外，它还将成为支持未来混合计算的基础技术。

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）云脑研究计划，构建互联网（城市）云脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”