基于人工智能推理的英特尔® 精选解决方案

企业日益希望借助人工智能（AI）增加收入，提高效率和推动产品创新。尤其需要指出的是，基于深度学习（DL）的 AI 用例带来了最实用、最深刻的洞察，其中一些用例可
推动多个行业的进步，如：

•图像分类，可用于图像所属类别分类（如面部表情分类）
•对象检测，可被自动驾驶汽车用于对象定位
•图像分割，可以在患者的磁共振成像（MRI）中勾勒出器官轮廓
•自然语言处理，可进行文本分析或翻译
•推荐系统，可被在线商店用于预测客户偏好或推荐向上销售选项

这些用例仅仅是个开始。通过将 AI 融入公司运营中，企业将发现应用 AI 的新方法。然而，所有 AI 用例的商业价值在很大程度上取决于通过深度神经网络训练的模型推理出答案的速度。在 DL 模型上实施推理需要大量资源，通常需要企业更新硬件以获得所需的性能和速度。然而，许多客户希望扩展其现有的基础设施，而不是购买新的单一用途硬件。您的 IT 部门已经非常熟悉英特尔® 硬件架构，其灵活性优势可帮助您保护 IT 投资。基于人工智能推理的英特尔® 精选解决方案是 “交钥匙平台”，经过了预配置、验证和优化，可在 CPU 而非单独的加速卡上执行低延迟、高吞吐量推理。
基于人工智能推理的英特尔® 精选解决方案
基于人工智能推理的英特尔® 精选解决方案可帮助您在基于已验证过的英特尔架构解决方案上，快速部署高效的 AI 推理算法，从而加快创新和进入市场的步伐。为加快 AI 应用的推理和进入市场的速度，基于人工智能推理的英特尔® 精选解决方案将多种英特尔及第三方软件和硬件技术相结合。

软件选择
基于人工智能推理的英特尔® 精选解决方案使用的软件包括开发者工具和管理工具，可帮助您在生产环境中进行 AI 推理。
英特尔® OpenVINO™ 工具套件
英特尔® 开放视觉推理和神经网络优化工具套件（英特尔® OpenVINO™ 工具套件）是开发人员套件，可加速高性能 AI 和DL 推理部署。该工具套件对在不同框架中训练的模型进行优化，以支持多种英特尔硬件选项，从而实现最佳性能的部署。使用工具套件的深度学习工作台可将模型量化到较低的精度，在此过程中，工具套件可以将模型从使用较大的高精度 32 位浮点数
（通常用于训练且占用较多内存），转变为使用 8 位整数，以优化内存占用和性能。将浮点数转换为整数可以显著提高 AI 推理速度，同时实现几乎相同的精度。1 该工具套件可以转换和执行在多种框架中构建的模型，包括 TensorFlow*、MXNet*、PyTorch*、Kaldi* 以及开放式神经网络交换（ONNX）生态系统支持的任何框架。此外，还提供已预训练过的公共模型，使用户不用自己去搜索和训练模型，从而加快基于英特尔处理器的开发和图像处理相关工作。
深度学习参考栈
基于人工智能推理的英特尔® 精选解决方案配有深度学习参考堆栈
（DLRS），这是一种集成的高性能开源软件堆栈，针对英特尔® 至强® 可扩展处理器进行了优化，封装在一个便捷的 Docker 容器中。DLRS 是一个预先验证和配置完备的堆栈，包括所需的库和软件组件，有助于降低与在 AI 生产环境中集成多个软件组件相关的复杂性。该堆栈还包括针对流行 DL 框架 TensorFlow 和PyTorch 高度调优的容器，及英特尔 OpenVINO 工具套件。此开源社区版本有助于确保 AI 开发人员轻松访问英特尔平台所有特性和功能。
Kubeflow 和 Seldon Core
随着企业积累了在生产环境中部署推理模型的经验，业界在一组统称为 “MLOps” 的最佳实践方面达成了共识，这些实践类似于 “DevOps” 软件开发实践。为帮助团队应用 MLOps，基于人工智能推理的英特尔® 精选解决方案使用了 Kubeflow*。借助 Kubeflow，团队可以在零停机的情况下顺利推出其模型的新版本。Kubeflow 使用受支持的模型服务后端（例如 TensorFlow Serving），将经过训练的模型导出至 Kubernetes。模型部署可使用金丝雀测试或影子部署来实现新版与旧版的并行验证。如果检测到问题，除跟踪外，团队还可使用模型和数据版本控制来简化原因分析。

为确保服务可满足人工智能推理不断增长的需求，基于人工智能推理的英特尔® 精选解决方案还提供了负载均衡功能，可自动将推理分片到节点中可服务对象的可用实例中。多租户支持提供不同的模型，从而提高硬件利用率。
最后，为加快运行 AI 推理的服务器与需要 AI 洞察的端点之间的推理请求处理速度，基于人工智能推理的英特尔® 精选解决方案可使用 Seldon Core 帮助管理推理工作流。Kubeflow 还与 Seldon Core 集成，以便在 Kubernetes 上部署 DL 模型，并使用 Kubernetes API 管理在推理工作流中部署的容器。

硬件选择
基于人工智能推理的英特尔® 精选解决方案组合了第二代智能英特尔® 至强® 可扩展处理器、英特尔® 傲腾™ 数据中心级固态盘、英特尔® 3D NAND 固态盘和英特尔® 以太网 700 系列，可帮助您的企业快速部署构建于性能优化平台上的生产级 AI 基础设施，使用大容量内存处理要求最苛刻的应用和工作负载。
第二代智能英特尔® 至强® 可扩展处理器
基于人工智能推理的英特尔® 精选解决方案具有第二代智能英特尔® 至强® 可扩展处理器的性能和功能。对于 “Base” 配置，英特尔® 至强® 金牌 6248 处理器在价格、性能和内置技术之间实现了最佳平衡，可增强在 AI 模型上进行推理的性能和效率。
“Plus” 配置推荐搭载英特尔® 至强® 铂金 8268 处理器，以实现更快的 AI 推理。这两种配置也可以使用更多的处理器数量。第二代智能英特尔® 至强® 可扩展处理器包括英特尔® 深度学习加速，该系列加速特性可通过使用专门的矢量神经网络指令（VNNI）集来提高 AI 推理性能，该指令集使用单指令完成以往需要三个单独指令的 DL 计算。
英特尔® 傲腾™ 数据中心级技术
英特尔® 傲腾™ 数据中心级技术填补了存储和内存层级中的关键空白，可帮助数据中心更快速访问数据。这项技术还颠覆了内存和存储层，能够为各种产品和解决方案提供持久内存、大内存池、高速缓存和存储。

英特尔® 傲腾™ 数据中心级固态盘和英特尔® 3D NAND 固态盘当高速缓存层运行在低延迟和高耐用性的快速固态盘上时，AI 推理性能最佳。如果在高速缓存层采用最高性能的固态盘代替主流串行 ATA（SATA）固态盘，需要高性能的工作负载将受益匪浅。在这些英特尔® 精选解决方案中，英特尔® 傲腾™ 数据中心级固态盘用于驱动高速缓存层。英特尔® 傲腾™ 数据中心级固态盘可提供较高的每秒数据输入输出操作（IOPS）、性价比、低延迟和每天 30 次全盘写入的耐用性，因此它们非常适合承载写入负载较大的高速缓存功能。2 解决方案的容量层由英特尔® 3D NAND 固态盘支持，同时具备出色的数据完整性、性能一致性和磁盘可靠性，可提供优化的读取性能。
25Gb 以太网
25Gb 英特尔® 以太网 700 系列网络适配器可提高基于人工智能推理的英特尔® 精选解决方案的性能。搭配第二代英特尔® 至强® 铂金处理器和英特尔® 固态盘 DC P4600，它们相比 1Gb 以太网
（GbE）适配器和英特尔® 固态盘 DC S4500 可提供高达 2.5 倍的性能。3,4 英特尔® 以太网 700 系列提供了经过验证的性能，可通过广泛的互操作性达到数据弹性和服务可靠性的高质量阈值。5 所有英特尔® 以太网产品均享受全球售前和售后支持，并提供有限的终身保修。
通过基准测试验证性能
所有英特尔® 精选解决方案均经过基准测试的验证，达到工作负载优化性能的预先指定最低性能水平。在该解决方案中，英特尔选择使用标准的 DL 基准测试方法并模拟真实场景进行测量和基准测试。

对于标准基准测试，每秒可处理的图像数量（吞吐量）是在预先训练的深度残差神经网络（ResNet 50 v1）上进行测量的，该网络与使用合成数据的 TensorFlow、PyTorch 和 OpenVINO 工具套件上广泛使用的 DL 用例（图像分类、定位和检测）紧密关联。

为模拟实际场景，该测试启动了代表多个请求流的多个客户端。这些客户端将图像从外部客户端系统发送到服务器以进行推理。在服务器端，入站请求由 Istio 进行负载平衡。然后，请求被发送到一个可服务对象的多个实例，该对象包含通过 Seldon Core 运行的预处理、预测和后处理步骤工作流。预测是使用 OpenVINO 工具套件模型服务器的优化 DLRS 容器映像完成的。一旦请求通过工作流，推理将被发回请求客户端。测量吞吐量和延迟可以帮助确保测试配置支持生产环境中的推理规模。
Base 和 Plus 配置
如表 1 所示，基于人工智能推理的英特尔® 精选解决方案提供两种配置。Base 配置指定了解决方案的最低要求性能，Plus 配置旨在展示系统构建商、系统集成商以及解决方案和服务提供商可如何进一步优化基于人工智能推理的英特尔® 精选解决方案，进而实现更高的性能。

客户可以升级或扩展其中一项配置，以提高容量或性能。Plus 配置利用性能更高的第二代智能英特尔® 至强® 可扩展处理器和更多内存，与 Base 配置相比可将 AI 推理速度加快高达 39%。6
如需满足基于人工智能推理的英特尔® 精选解决方案的要求，解决方案提供商必须达到或超过定义的最低配置要素，并达到以下所列的最低基准性能阈值。

**推荐但不要求

基于人工智能推理的英特尔® 精选解决方案的技术选择
除了基于人工智能推理的英特尔® 精选解决方案使用的英特尔硬件基础外，英特尔技术进一步提升了性能与可靠性：

•英特尔® 高级矢量扩展指令集 512（英特尔® AVX-512）：一个 512 位指令集，可提高要求苛刻的工作负载和用例（如 AI 推理）的性能。
•英特尔® 深度学习加速：第二代智能英特尔® 至强® 可扩展处理器中引入了一组加速功能，可大幅提高使用领先 DL 框架（例如PyTorch、TensorFlow、MXNet、PaddlePaddle 和 Caffe）构建的推理应用的性能。英特尔深度学习加速技术的基础是 VNNI，这是一种专用指令集，使用单一指令进行 DL 计算，该任务以前需要三条单独指令。
•英特尔® OpenVINO™ 工具套件分发版：一款免费的软件套件，可帮助开发人员和数据科学家加速 AI 工作负载，并简化从网络边缘到云端的 DL 推理和部署。
•英特尔® 数学核心函数库（英特尔® MLK）：该函数库实施了流行的数学运算，这些运算已针对英特尔硬件进行了优化，以帮助应用充分利用英特尔 AVX-512 指令集。它兼容广泛的编译器、语言、操作系统以及链接和线程模型。
•基于深度神经网络的英特尔® 数学核心函数库（英特尔® MKL-DNN）：一个开源性能增强库，用于在英特尔硬件上加速 DL 框架。

•英特尔® Python 分发版：借助集成的英特尔® 性能库（例如英特尔® MKL），加速与 AI 有关的 Python 库（例如 NumPy*、SciPy* 和 scikit-learn*），以实现更快的 AI 推理。
•框架优化：英特尔与 Google* 开展 TensorFlow 合作，与Apache* 开展 MXNet 合作，与百度* 开展 PaddlePaddle* 、Caffe* 和 PyTorch 合作，在数据中心内使用基于英特尔® 至强® 可扩展处理器的软件优化来增强 DL 性能，并且继续增加其他行业领导者的框架。

在行业标准硬件上部署优化的快速 AI 推理
借助为英特尔® 至强® 可扩展处理器验证的工作负载优化配置，英特尔® 精选解决方案可帮助企业快速推进数据中心转型。选择基于人工智能推理的英特尔® 精选解决方案，意味着企业可获得经过优化、测试、可扩展性验证及预先调优的配置，从而帮助IT 部门在生产环境中快速、高效地部署 AI 推理。此外，通过选择基于人工智能推理的英特尔® 精选解决方案，IT 部门可在惯常部署和管理的硬件上实现高速 AI 推理。

访问：https://www.intel.cn/content/www/cn/zh/architecture- and-technology/intel-select-solutions-overview.html，了解更多信息，并向您的基础设施厂商咨询英特尔® 精选解决方案的信息。

关注英特尔边缘计算社区，表示您确认您已年满 18 岁，并同意向英特尔分享个人信息，以便通过电子邮件和电话随时了解最新英特尔技术和行业趋势。您可以随时取消订阅。英特尔网站和通信内容遵守我们的隐私声明和使用条款。

基于人工智能推理的英特尔® 精选解决方案相关推荐

英特尔® 精选解决方案：逐个击破AI 推理部署痛点
本文介绍了面向 AI 推理的英特尔® 精选解决方案以及其如何解决 AI 推理部署的痛点,包括其中采用的软件.硬件和技术.该系列解决方案有基础和增强配置,提供灵活的可定制性,以满足不同需求.您可通过阅读 ...
关于人工智能，听听英特尔怎么说
在2016年岁末,回首整个2016年的IT热点话题,人工智能无疑是其中最有竞争力的获选者.从年初的AlphaGo与韩国棋手李世石的"人机大战"引爆的对深度学习的热情几乎持续了一整年 ...
用“芯”赋能数字孪生 | 数字冰雹出席英特尔渠道解决方案峰会
12月13日-15日,第五届英特尔渠道解决方案峰会在成都召开,本次峰会汇聚了各行业知名的技术专家及企业高管,与英特尔一道深入探讨产品解决方案,分析行业痛点,分享渠道营销理念和未来科技的创新趋势.数字冰 ...
英特尔服务器主板安装系统,基于主板 S2600WF 的英特尔® 服务器系统 R2308WFTZSR 2U云计算服务器...
产品定位基于英特尔® 服务器主板 S2600WF 的系统可在处理能力和性能方面能够发挥巅峰效能.这些 1U 和 2U 机架系统具有高内存容量以及网络.存储和 I/O 灵活性,能够随着您业务的发展而扩 ...
构建长期共赢生态圈，英特尔至强平台加速人工智能落地
本文转载自在前线量子位编辑 | 公众号 QbitAI 导语: 受疫情影响,AI医疗获得了前所未有的关注.在以肺部CT影像筛查为核心的新冠早期症状检测中,更是大显身手. 但在从技术到产品方案再到落 ...
人工智能赋能于企业？来自英特尔的几点建议
硅谷Live / 实地探访 / 热点探秘 / 深度探讨欢迎来到人工智能时代. 留意一下就会发现,现在越来越多的新闻头条都和人工智能有关:从亚马逊用人工智能解雇偷懒员工.到人工智能与医疗深度结合.再到 ...
英特尔推出业界领先的AI与数据分析平台，全新处理器、内存、存储、FPGA解决方案集体亮相
英特尔公司今日正式发布第三代英特尔®至强®可扩展处理器及全新的AI软硬件产品组合,旨在进一步助力客户在数据中心.网络及智能边缘环境中加速开发和部署AI及数据分析工作负载.作为业界首个内置bfloat1 ...
英特尔终于将迈进10nm大门
英特尔终于将另一只脚迈进了10nm的大门. 相对于早在2019年在台北电脑展上发布的10nm酷睿®处理器来说,企业级的这一步让我们等了太久.不过这种等待也是值得的--相对于第二代英特尔®至强®可扩展处 ...
英特尔孙纳颐：以数据为中心，以创新领时代
-英特尔着眼2000亿美元的市场机会:宣布英特尔®至强®处理器带来10亿美元的 AI 收入,并公布新产品路线图北京2018年8月9日电 /美通社/ -- 在2018年8月8日举行的英特尔以数据为中心 ...

基于人工智能推理的英特尔® 精选解决方案

基于人工智能推理的英特尔® 精选解决方案相关推荐

最新文章

热门文章