作者 | 刘云新

来源 | 微软研究院AI头条（ID:MSRAsia）

【导读】人工智能的蓬勃发展离不开云计算所带来的强大算力，然而随着物联网以及硬件的快速发展，边缘计算正受到越来越多的关注。未来，智能边缘计算将与智能云计算互为补充，创造一个崭新的智能新世界。本文中，微软亚洲研究院系统与网络研究组首席研究员刘云新将为大家介绍智能边缘计算的发展与最新研究方向。
近年来，边缘计算（Edge Computing）在学术界和工业界都成为了一个热门话题。
事实上，边缘计算是相对于云计算（Cloud Computing）而言的。
在云计算中，所有的计算和存储资源都集中在云上，也就是数据中心（Datacenter）里；在终端设备上产生的数据通过网络传输到云上，计算任务和数据处理都在云上进行。而在边缘计算中，计算和存储资源被部署到边缘上（边缘服务器或者终端设备），可以就近对本地的数据进行处理，无需把数据传输到远端的云上，从而避免网络传输带来的延迟。
虽然边缘计算成为广受关注的热门话题的时间并不久，但边缘计算的概念并不新。
早在2008年，微软研究院的 Victor Bahl 博士邀请了学术界和工业界的知名学者，包括卡内基·梅隆大学的 Mahadev Satyanarayanan 教授、AT&T 实验室的 Ramón Cáceres博士、兰卡斯特大学（Lancaster University, U.K.）的Nigel Davies教授、英特尔研究院（Intel Research）的 Roy Want 博士等，一起探讨云计算的未来时 [1]，就提出了基于 Cloudlet 的边缘计算的概念；
并于次年在 IEEE Pervasive Computing 期刊上发表了广为人知的名为 “The Case for VM-based Cloudlets in Mobile Computing”的文章 [2]。
此后，越来越多的研究人员开始关注边缘计算。
值得一提的是，2016年，首届专注于边缘计算的学术会议 The First IEEE/ACM Symposium on Edge Computing 在美国华盛顿特区召开 [3]。
目前，边缘计算已成为相关顶级学术会议（比如MobiCom）的重要专题之一。
在工业界，2017年微软公司 CEO 萨提亚·纳德拉就将边缘计算和云计算并列成为全公司的战略之一。
之后，各大云计算公司和运营商都纷纷推出了自己的边缘计算服务；边缘计算相关的创业公司更是不断涌现。
在人工智能时代，边缘计算不仅仅只是计算，更是智能+计算，我们称之为智能边缘计算（Intelligent Edge Computing）。
唯物辩证法指出，事物的发展总是曲折、循环往复，并在波浪中不断前进的。
计算模式（Computing Paradigm）也不例外。
如图1所示，如果我们回顾计算模式的发展历史，就会发现一个简单的规律：
计算模式是在集中式计算和分布式计算之间不断摇摆，往复式发展前进的。
图1：计算模式的发展历史
在大型机（Mainframe）时代，计算资源稀缺，很多人共享一台主机，计算是集中式的；到了个人计算（Personal Computing）时代，硬件变得小型化，价格低廉，人们可以拥有自己的个人设备，计算成为了分布式的；在云计算时代，通过高速网络，人们可以共享云上的海量的计算和存储资源，计算模式又回到集中式的。
此时，人工智能蓬勃发展，云上提供的众多智能服务带来了智能云计算。
而随着边缘计算的出现，计算模式再一次成为分布式的。现在，我们不仅有智能云，还有智能边缘。
智能边缘计算的出现当然不仅仅是满足表面上的简单规律，背后有其必然性和强大的驱动力，是计算机软硬件和新应用新需求不断发展的必然结果。
首先，随着物联网特别是智能物联网（AIoT）的发展，各种新型智能设备不断涌现，产生了海量的数据。比如，监控摄像头已经无处不在（据统计，在伦敦每14个人就有一个监控摄像头 [4]），每天产生大量的视频数据。而每辆自动驾驶汽车每天更是会产生多达5TB的数据。把所有这些数据都传输到云上进行处理是今天的云和网络无法承受的。
其次，新的场景和应用需要对数据在本地进行处理。比如，自动驾驶和工业自动化对数据处理的实时性有很高的要求。数据传输带来的网络延迟往往无法满足实时性的要求，如果网络发生故障可能带来灾难性后果。
再如，人们对个人隐私越来越关注，而很多数据（视频、图片、音频等）都包含大量的个人隐私。保护个人隐私的最好的方法就是在本地进行数据处理，不把个人数据传到网络上去。
另外，同样重要的是，硬件的快速发展使得智能边缘计算成为可能。随着 AI 算法的日益成熟，人们开始设计制造专用的 AI 芯片，特别是专门用于深度学习模型推理的 AI 芯片，这些 AI 芯片不仅数据处理能力强大，而且尺寸小、功耗低、价格便宜，可以应用到各种边缘设备上，为智能边缘计算提供了坚实的硬件基础。
需要指出的是，智能边缘计算并不是要取代云计算，而是和云计算互为补充，一起更好地为用户提供服务。云计算和边缘计算会不断融合；
智能计算分布在不同的地方，但又相互连接，协同合作。
在微软亚洲研究院，我们致力于研究智能边缘计算中的关键问题，更好地将 AI 赋能于边缘设备（包括终端设备和边缘服务器）和应用，提高智能边缘计算的系统性能和用户体验。具体来说，目前我们主要关注以下几个研究方向：
针对不同设备的模型压缩和优化。高精度的深度学习模型通常都十分庞大，由数百万甚至以亿计的参数构成。运行这些模型需要耗费大量的计算和内存资源。虽然智能边缘设备的处理和存储能力大幅增长，但仍远远比不上云计算设备。因此，如何把深度学习模型在资源受限的边缘设备上运行起来是一个巨大的挑战。
传统的模型压缩和优化（比如剪枝、量化等）主要关注的是在如何把模型变小的同时尽量少损失模型精度。然而，边缘设备的特点是类型多、差异性大，处理器类型性能和内存大小千差万别。我们认为，没有一个统一的模型能够适用于所有的边缘设备，而是应该结合硬件的特性，为不同的设备提供最适合的模型，不仅考虑模型大小和精度损失，更要考虑模型在设备上的执行性能，比如延迟和功耗等。
基于异构硬件资源的系统优化。即使有了一个可以运行的模型，如何提高模型的运行效率仍是一个值得深入研究的课题。我们需要一个高效的模型推理引擎，把系统性能提高到极致。这不仅需要软件层面的系统优化，更要有软件和硬件的协同设计，能够充分利用底层硬件的能力。边缘设备往往有着各种异构的硬件资源，比如智能手机拥有大小不同的 CPU 核（ARM big.Little）、DSP、GPU、甚至 NPU。
而现有的系统往往只能利用其中一种计算资源（比如 CPU 或者 GPU），还不能充分发挥硬件的性能。我们的工作致力于研究如何充分利用同一设备上的异构硬件资源，深度优化系统性能，大大降低模型执行的延迟和能耗。
隐私保护和模型安全。如前所述，用户隐私数据保护是一个重要的课题。
在边缘设备无法运行高精度模型的情况下（比如在低端的监控摄像头上），利用云计算或者边缘服务器来执行深度学习模型就不可避免。在这种情况下，我们就需要研究如何利用远程的计算资源的同时还能不泄露用户的隐私数据。
另外，在边缘设备上运行模型还带来了一个新的问题——模型的安全。训练一个好的模型需要花费巨大的人力、物力。因此，模型是重要的数字资产。
在云计算模式下，模型的存储和运行都在云上，终端用户无法直接接触模型数据。而在边缘计算中，模型是部署到本地设备上的，恶意用户可以破解终端系统，复制模型数据。所以，如何在智能边缘计算中保护模型的安全就是一个新的重要研究课题。
持续学习和合作学习。智能边缘计算还带来了新的改善模型的机会。
目前的模型训练和模型使用通常是割裂的。一个模型在事先收集好的数据集上进行训练，然后被部署到设备上进行使用。然而，模型使用中的数据通常是和训练时的数据集不一样的。比如，每个智能摄像头由于其位置和光线的不同，它们看到的图像内容和特征都不尽相同，从而导致模型精度下降。
我们认为，模型被部署到设备上以后，应该根据设备上的输入数据进行适配和优化，而且随着设备处理越来越多的新数据，它应该从中学习到新的知识，持续不断地提高它的模型，这就是持续学习（Continuous Learning）。此外，多个设备还应该把它们学习到的不同的新知识合并到起来，一起合作来改进完和善全局的模型，我们称之为合作学习（Collaborative Learning）。
与主要关注如何利用多方数据集进行模型训练而不相互泄露数据的联邦学习（Federated Learning）不同，持续学习和合作学习的重点是如何在模型部署后从新获取的数据中学习新的知识。
此外，我们还关注智能边缘计算中的各种新场景和新应用，比如视频分析、VR/AR、自动驾驶、AIoT 等，特别是随着 5G 的到来，如何构建更好的智能边缘+智能云的系统，为这些场景和应用提供更好的支撑。
在过去两年，我们和国内外的高校紧密合作，在这些研究方向上取得了一系列的进展，也在相关学术会议上发表了多篇论文。其中，我们和北京大学和美国普渡大学关于如何利用缓存技术（Cache）提高卷积神经网络（CNN）执行效率的工作发表在 MobiCom 2018上 [5]；和哈尔滨工业大学等学校合作的关于如何利用模型稀疏性（Sparsity）加速模型执行的工作发表在 FPGA 2019和 CVPR 2019上 [6] [7]；和韩国 KAIST 等学校合作的关于如何利用 SGX 保护用户隐私的工作发表在 MobiCom 2019上 [8]；和美国纽约大学和清华大学合作的关于合作学习的工作发表在 SEC 2019上 [9]。
智能边缘计算之后是什么？计算模式会沿着既有历史路线继续轮回吗？
未来会是怎样的？
我们无法准确预测未来，但我们相信世界一定会变得越来越数字化、智能化，一定会变得更加美好。在微软看来，整个世界正在成为一台巨大的计算机 [10]。不管你是在家里、在办公室、还是在路上，不管是在工厂、在商场、还是在各行各业，借助分布在各处的强大计算能力，我们可以利用人工智能处理由无处不在的传感器采集到的数据，创造出丰富多彩的工作和生活体验。
未来的计算一定是以用户为中心的，智能环境和设备随时随地感知用户的状态和需求，将用户所需的数据和信息准确推送给用户，为人们提供更好的服务。
来源：沈向洋博士在2018微软人工智能大会上的演讲 [10]
参考文献

[1] V. Bahl, "10 years is an eternity in the tech world, but we are just getting started," 19 10 2018. [Online].

https://www.microsoft.com/en-us/research/blog/10-years-is-an-eternity-in-the-tech-world-but-we-are-just-getting-started/

[2] M. Satyanarayanan, P. Bahl, R. Cáceres and N. Davies, "The Case for VM-Based Cloudlets in Mobile Computing," IEEE Pervasive Computing, vol. 8, no. 4, pp. 14-23, 2009.

[3] "The First IEEE/ACM Symposium on Edge Computing," 27-28 10 2016. [Online].

http://acm-ieee-sec.org/2016/

[4] J. Ratcliffe, "How many CCTV Cameras are there in London 2019?," 29 5 2019. [Online].

https://www.cctv.co.uk/how-many-cctv-cameras-are-there-in-london/

[5] M. Xu, M. Zhu, Y. Liu, F. X. Lin and X. Liu, "DeepCache: Principled Cache for Mobile Deep Vision," in Proceedings of the 24th Annual International Conference on Mobile Computing and Networking, 2018.

[6] S. Cao, C. Zhang, Z. Yao, W. Xiao, L. Nie, D. Zhan, Y. Liu, M. Wu and L. Zhang, "Efficient and Effective Sparse LSTM on FPGA with Bank-Balanced Sparsity," in Proceedings of 27th ACM/SIGDA International Symposium on Field-Programmable Gate Arrays, 2019.

[7] S. Cao, L. Ma, W. Xiao, C. Zhang, Y. Liu, L. Zhang, L. Nie and Z. Yang, "SeerNet: Predicting Convolutional Neural Network Feature-Map Sparsity through Low-Bit Quantization," in Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2019.

[8] T. Lee, Z. Lin, S. Pushp, C. Li, Y. Liu, Y. Lee, F. Xu, C. Xu and L. Zhang, "Occlumency: Privacy-preserving Remote Deep-learning Inference Using SGX," in Proceedings of the 25th Annual International Conference on Mobile Computing and Networking, 2019.

[9] Y. Lu, Y. Shu, X. Tan, Y. Liu, M. Zhou, Q. Chen and D. Pei, "Collaborative Learning between Cloud and End Devices: An Empirical Study on Location Prediction," in Proceedings of the Fourth ACM/IEEE Symposium on Edge Computing, 2019.

[10] 沈向洋, "让云计算和人工智能帮助每一个人," 2018 微软人工智能大会. [Online].

原文链接：https://www.microsoft.com/china/events/ArtificialIntelligence2018.aspx

（*本文为 AI科技大本营转载文章，转载请联系作者）

◆

精彩推荐

◆

12月6-8日，深圳！2019嵌入式智能国际大会，集聚500+位主流AIoT中坚力量，100+位海内外特邀技术领袖！9场技术论坛布道，更有最新芯片和模组等新品展示！点击链接或扫码，输入本群专属购票优惠码CSDNQRSH，即可享受6.6折早鸟优惠，比原价节省1000元，学生票仅售599元。

推荐阅读

智能边缘计算：计算模式的再次轮回相关推荐

  1. 中国首个！百度云宣布边缘计算开源，发布智能边缘开源平台OpenEdge

    12月6日,在2018 ABC Inspire企业智能大会上,百度云正式发布百度智能边缘(Baidu IntelliEdge,BIE)开源版本OpenEdge,为中国第一个宣布边缘计算开源. 12月6 ...

  2. 深度 | AI芯片之智能边缘计算的崛起——实时语言翻译、图像识别、AI视频监控、无人车这些都需要终端具有较强的计算能力，从而AI芯片发展起来是必然，同时5G网络也是必然...

    from:https://36kr.com/p/5103044.html 到2020年,大多数先进的ML袖珍电脑(你仍称之为手机)将有能力执行一整套任务.个人助理将变的更加智能,它是打造这种功能的切入 ...

  3. 加速智能边缘应用落地 英特尔携生态伙伴展示AI计算盒参考设计最新成果

    7月28日,在以"同芯智远,共赢边缘"为主题的2021英特尔AI计算盒参考设计(以下简称"AI计算盒")主题分享会上,英特尔携手边缘AI领域的众多合作伙伴一同见 ...

  4. 加速智能边缘应用落地，英特尔携生态伙伴展示AI计算盒参考设计最新成果

    ↑ 收听本条新闻的音频版,请猛戳这里 ↑ 今日,在以**"同芯智远,共赢边缘"为主题的2021英特尔AI计算盒参考设计(以下简称"AI计算盒")主题分享会**上 ...

  5. 深信服智能边缘计算平台与 OpenYurt 落地方案探索与实践

    作者:赵震,深信服云计算开发工程师,OpenYurt 社区 Member 编者案:在 5G.物联网等新技术的持续推动下,边缘计算产业已然走向大风口,未来越来越多的种类,越来越大的规模和越来越复杂的应用 ...

  6. 5G/4G边缘计算网关 智能边缘网关TG463

    5G/4G边缘计算网关 智能边缘网关TG463 智能边缘计算网关TG463,支持全网通5G\4G网络,支持边缘计算实施边缘节点数据处理优化,支持各PLC无缝接入,大容量数据采集传输高速率低延时.支持以 ...

  7. 智能边缘计算设备介绍

    1 硬件网络图 智能边缘计算终端:1)可支持多种通信协议,可接入各种设备:2)在终端内基于IEC61131-3的优化控制软件计算后,把优化指令下发给控制器:3)同时通过通信协议把主站需要的信息上送给主 ...

  8. 每日新闻：百度云宣布边缘计算开源，发布智能边缘开源平台；英特尔和华为成功完成SA架构的5G互操作性测试；优信淘宝打造二手车供应链...

    关注中国软件网 最新鲜的企业级干货聚集地 趋势洞察 周亮:支持利用大数据.云计算.人工智能等金融科技 银保监会副主席周亮在第九届财新峰会上表示:对金融创新既要积极鼓励,又要审慎对待,要及时弥补监管短板 ...

  9. 边缘智能:边缘计算和人工智能的深度融合

    摘要 随着通信技术的飞速发展和移动设备使用的激增,一种全新的计算范式--边缘计算正在迅速普及.与此同时,随着深度学习的突破和硬件架构的许多改进,人工智能(AI)应用正在蓬勃发展.在网络边缘产生数十亿字 ...

最新文章

  1. php jwt token过期时间,php – 动态设置laravel jwt的到期时间
  2. ICCV 2019 | 加一个任务路由让数百个任务同时跑起来，怎么做到？
  3. 对于神经网络，硕博士不需要弄明白原理，只需要应用，是这样吗？
  4. 「WC2018」即时战略
  5. 初次使用MyEclipse || Servlet 的生命周期
  6. javascript CDATA
  7. Nginx使用HTTPS建立与上游服务器的网络通信
  8. Linux中w r x数学代码,Linux bc命令实现数学计算器
  9. iOS 9.0系统策略更新
  10. 物业收费管理系统 java_基 于java的小区物业收费管理系统.doc
  11. 照片怎么加水印，照片加水印操作步骤
  12. C/C++入门级小游戏——开发备忘录
  13. 谁是滕尚华？两获哥德尔奖，上交大校友，喜欢「躺平式」科研
  14. android 跨屏效果图,手机电脑二合一：小米妙享跨屏协作正式上线
  15. CSDN 富文本编辑器和 Markdown 编辑器使用 Word 支持的 LaTx 语法公式
  16. 一篇帮助理解git rebase的好文章 ( by quqi99 )
  17. 原生app 嵌入百度h5人脸认证，活体检测方案， HUAWEI mate30 Pro 不兼容处理
  18. 四阶龙格库塔法的基本思想_经典四阶龙格库塔法解一阶微分方程组讲义.doc
  19. 云查杀：云安全不可或缺的安全组件
  20. 英语的加减乘除怎么计算机,英语加减乘除运算的表示方法

热门文章

  1. 数据库备份定期删除程序的开发。
  2. VMware Tools手动下载
  3. Build Boost C++ libraries for x32/x64 VC++ compilers on Windows
  4. 辞职之后的思考--激励
  5. [译]怎样用VisualStudio查看非托管代码
  6. System.Transactions介绍
  7. 阅读Book：MultiObjective using Evolutionary Algorithms（7）---Weighted Sum Methods ε-Constraint Methods
  8. Android开发笔记1.2
  9. 程序员的自我救赎---13.1：职场招聘与面试心得
  10. 堆排序——HeapSort