百度AI原生云实践: 基于容器云打造 AI 开发基础设施

导读：众所周知，AI的发展离不开三大要素：数据、算法和算力。
算法、算力、数据三者相互影响，组成了AI技术发展突破的基础，也推动了人工智能在产业场景下的应用。
同时，不同场景与应用，对底层资源提出了更高的要求，应用的多元化需要更完善的硬件与软件系统来提升开发效率，因此基础设施也在一定程度上制约着人工智能的发展。
如何构建包括硬件、平台、框架在内的AI开发基础设施，实现降本增效，满足当前人工智能落地应用的需求？
百度交出了一份名为『AI原生云』的答卷。

本文根据百度技术沙龙云原生专场贺龙华讲师的分享内容整理而成，主要包括三个部分：
1.AI 开发领域现状
2.打造基于容器云的企业 AI 开发基础设施
3.常见落地场景（开发、训练、推理）分享

1. AI 开发领域现状

目前，行业应用进入全面 AI 原生化阶段，智能家居、智能金融，自动驾驶、智慧医疗、智能零售、智能制造，工业的智能制造等行业，都在广泛应用深度学习和机器学习技术做AI场景的应用。

而在 AI 开发工程领域，挑战和趋势主要有以下三点：

更大的数据和模型。数据越来越多，比如我们经常接触到的百度的搜索数据，工业互联网涉及的机器数据等，这些数据都在呈现指数级增长；模型越来越大，自2018年谷歌提出BERT 模型以来，以BERT、GPT等为代表的模型越来越往「大」这一方向发展，短短3年时间，模型参数已经从最初3亿，扩张到万亿规模。
有了大规模的数据之后需要更大规模的训练，如何实现更快的训练便成了一个亟待解决的问题。
企业在应用AI场景过程中投入的成本越来越高。

对应的，整个行业对 AI 开发基础设施的诉求也有三点：

高性能，数据模型越来越大，对性能要求越来越高。
Serverless 化，传统的算法工程师很少会用到基础设施平台，他们对模型训练和 AI 标注等方面的内容比较陌生，比较希望可以用Serverless 化的方式来简单的完成 AI 的推理和训练。
高利用率，客户购买了几百张或者几千张卡，如何把这些卡的利用率提高？

针对以上三个挑战，百度提出了相应的解决方案，来解决如何快速、低成本的训练大规模数据与模型的问题。

2. 打造基于容器云的企业 AI 开发基础设施

2.1 百度 AI 异构计算平台

如上图所示，最底层是 AI 计算，百度提供特殊的机型支持大规模的训练和推理，比如自研的 X-MAN 是第一款4路 AI 服务器，支持8张 Nvidia A100 卡全互联。网络上主机之间通过 RDMA 网络实现高速通信，硬件加速卡方面，借助自研的昆仑卡进行硬件加速。

AI 存储层，训练任务需要高吞吐、低延迟读取数据；针对这个场景，百度自研了并行文件存储，搭载裸金属服务器、基于全闪存 SSD 介质，兼容以太网和 IB 网络；依靠并行架构，用户 I/O 在客户端和存储节点间完全并行访问，支持百万级 IOPS。

在 AI 容器方面，百度做了很多加强。例如 GPU 的精细化调度、AI 作业的优先级调度、AI开发框架层优化。这些再下面会详细介绍。

AI PaaS 平台，百度会提供包括数据标注、模型推理，数据的管理等能力；最上层就是AI具体落地的一些行业，包括工业、能源、金融等。

2.2 当 GPU 遇上容器
为什么 GPU+容器能在上行业内大放异彩，而不是 GPU+虚机的组合模式？原因很简单，在过去的几年里，使用容器来大规模部署数据中心应用程序的数量急剧增加。容器具有其特有的优势：封装了应用程序的依赖项，以提供可重复和可靠的应用程序和服务执行，而无需整个虚拟机的开销。

具体而言，首先，上图可以看到容器和虚机最大的区别没有一个 Hypervisor 层去隔离，我们可以在很多裸金属服务器上直接用容器挂载 GPU 设备进来直接用，这个效率是零损耗的。传统的虚机是虚拟化的状态，有一些损耗，而且弹性速度无法与容器比拟，并且无法共享 GPU 设备。

第二，容器是共享宿主机的内核以及关键库，比如如 cuDNN、硬件驱动库等。容器是利用操作系统的资源隔离特性而实现的轻量级虚拟化技术。同时把资源消耗降低到最小，甚至是没有消耗（因为它是同一个内核的）。

第三，神经网络中不同版本的差异性较大，容器为深度学习的应用提供了环境一致性。

2.3 百度 AI 容器服务全景图

基础设施层的计算方面提供上文提到的百度自研的昆仑芯片，自研的服务器 X-Man服务器；网络方面，包含 RoCE 网络、VPC 网络、RDMA 高性能网络等；存储方面也有高速 Cache 的方案。

再重点看一下 AI 优化层，GPU 调度方面，我们的方案能够支持从容器的场景下采集到GPU 的型号、算力、显存、NVLink等信息，当然还有 GPU 所在机器的网络位置信息。为什么需要感知 NVLink？NV-Link 特性使得 GPU 能够直接访问另一块 GPU 的内存数据，而不需要过 PCIe 设备。在训练场景，这是非常重要的。

AI 作业的调度方面，我们引入了Volcano 调度框架进行批量 job 的调度；AI 加速引擎百度在这块优化的比较多一些，比如 NCCL 通信库，百度在这之上做了一些优化，加速硬件和软件的通信。

AI开发框架层，支持主流的深度学习框架，包括PaddlePaddle、TensorFlow、Pytorch等，另外，在 Paddle 上面百度针对推理场景做了深度的算子优化。

GPU 虚拟化方面，能够支持 GPU 的共享技术以及 GPU 算力隔离，还有编解码，因为 GPU 常见用于视频的编解码，百度的 cGPU 方案同样也可以做到隔离；

最后是AI的专项优化，GPU 精细管理和 AI 专属镜像，针对百度内部有常见的的推理，比如广告点击率，会用专门镜像做优化，使它的效率达到最高。

2.4 百度 AI 容器特性
第一，软件定义GPU，我们经常听见软件定义网络，软件定义存储。AI的场景下，软件可以定义GPU，可以定义GPU的算力，百度把GPU的资源分为二分之一或者四分之一粒度来管理，把GPU池化甚至云化，借助 remote CUDA 可以支持你通过RDMA网络的模式把数据发送到远端 GPU Server 进行计算。

第二，AI 容器调度，百度支持Gang、Spread、Binpack调度策略，支持 NVLink 等 GPU 架构感知调度。

第三，加速引擎，支持通信库的优化还有多业务场景，目前在百度内部实践比较多，比如推荐，Feed流广告、NLP自然语言识别等。

2.5 百度自研容器化 GPU 共享技术方案

上图左侧最底层是 CUDA 的 Driver，这是硬件驱动层。

往上MPS+CUDA Driver API ，这里是用户态，在操作系统上能够看到动态库或者进程，MPS 是多进程服务，可以优化多进程使用 GPU 的算力。目前百度 GPU 的隔离方案重点在这一层实现，百度目前基于MPS+CUDA HOOK，技术做到算力和显存隔离，算力是在 MPS 上做的，用户态是用 CUDA 的动态库劫持技术做到显存的控制，算力是通过 MPS 多进程服务做算力的隔离。

再往上就是CUDA Runtime API、Library以及用户的应用，用户的应用可以直接调 CUDA 的 Runtime API 或者 CUDA 的 Dirver API。

更详细的流程可以理解为：用户创建一个 Pod，通过调用Kubernetes API Server，进行调度/扩展调度，比如 GPU 特殊的扩展调度器发给 Kubelet，Kuberlet 创建 GPU 的容器的时候挂载一个虚拟 GPU 卡，因此在容器内部看到的卡是二分之一卡或者四分之一卡，GPU 在使用的过程中会调 MPS 多进程服务，由这个多进程服务进行算力的调度和算力的隔离。

以上就是目前绝大部分企业和行业在用的技术方案，虽然有的企业可能做不到显存的共享，有的企业做不到算力的隔离，但是用 GPU 的方式都是用这个模式来实现：扩展的调度器在 K8S上，扩展的 Device Plugin 再到 GPU 硬件。

通过实践可以发现，使用 resnet50 验证训练场景的不同 batchsize 下，百度自研共享方案与 GPU 直通方案对比，性能几乎无损。

总体来说，百度在 AI 容器服务方面提供的价值表现在以下四个方面：

第一，高利用率，很多企业 GPU 成本越来越高，容器作为 AI 的 IaaS 会着力提高GPU 的利用率，比如 GPU 的云化，GPU 的池化，还有作业的优先级抢占级调度，GPU 的分层复用都是为了提高利用率。

第二，灵活的配置，不同业务使用 GPU 不一样，英伟达的T4卡多用于推理和编解码，英伟达 V100 卡多用于训练，在调度这一层灵活配置，按需选择 GPU 即可。

第三，规模化落地，在百度内外部都有相关的落地经验，尤其在百度外部，未来会大规模推广。

第四，AI 多场景的应用，在 AI 开发、训练和推理等场景均有应用。

3. 常见落地场景

3.1 AI 训练场景

百度内部的广告推荐场景有许多轻量级的模型，比如我们在刷Feed流或者视频流的过程中都会涉及到训练，拿到用户的特征值后进行训练，图片模型、转化率模型等都是通过 Kubernetes 进行介入，到计算节点进行作业，生成模型进行模型部署。

这种场景的特性是模型结构比较简单，对资源的要求比较低，不需要大规格的GPU卡进行训练，内存占用比较小，GPU 资源利用率一般不超过50%，通过优化之后，可以实现并行任务执行总耗时缩减40%，推荐场景下，GPU 资源利用率可提升50%。

3.2 AI 推理场景

训练的目的就是为了推理，百度有些商业产品需要预估收入是多少，广告点击率是多少，这些都是典型推理场景，这类业务的特点是对延迟敏感（ms级）并且算力要求相对训练场景较低，目前我们在大商业落地百度的网盟，落地了点击率的预估，利用我们的容器和 AI 的解决方案，覆盖了千张级别的P4/T4卡，利用率提升了80%。

3.3 AI 开发场景

外部也有一些典型场景，比如现在人工智能火热发展，很多高校开设了AI相关课程，但是 GPU 卡价格昂贵，如果一个班平常三四十人上课，学校通常很难购买三四十张 GPU 卡来支持学生做实验，实现一卡多用就变得十分迫切，在这个场景利用百度的 GPU 共享技术，可以做到多个同学做AI作业的时候用同一张卡，提高并发率，实现资源成本的节约。

推荐阅读
AI系统中的偏差与偏见
IE 退出后，苹果 Safari 成为了开发者最讨厌的浏览器？
终于有人把大数据架构讲明白了