国产化硬件适配能力再升级，百度天工AIoT智能边缘助力提升边缘AI算力可控能力

伴随AI+IoT技术的发展，其应用场景在不断细化，对AI芯片及硬件产品的个性化需求也在增加，这让众多边缘硬件厂商看到了新的机遇。一时间涌现众多边缘硬件厂商，进一步衍生出种类繁多的AI芯片及硬件产品线，与此同时丰富的硬件满足了用户的多样化需求，但也给硬件适配增加了难度。

面对多元化的芯片和硬件市场，百度天工AIoT智能边缘（下文简称“天工智能边缘”）在硬件适配上持续发力，通过对天工智能边缘的不断迭代，进一步扩大其对边缘AI硬件的适配范围，实现多种边缘AI算力的监控和调度。

此次迭代给正在使用天工智能边缘的用户带来了更多选择，尤其是针对国产化的边缘盒子，增加了可供选择的边缘硬件范围。同时在边缘AI场景的使用中，通过直接监控和调度边缘算力使用情况，方便用户更好的安排边缘硬件资源的使用。

升级亮点：

扩大对硬件的适配范围：此次升级，天工智能边缘完成了与国产化边缘硬件的适配，包含寒武纪MLU270、华为昇腾310、比特大陆SE5/SC5、百度昆仑AI处理器，进一步扩大了天工智能边缘对边缘AI硬件的适配范围。

实现多种边缘AI算力的监控和调度：升级之后，用户可以在云端直接查看寒武纪MLU270、华为昇腾310、比特大陆SE5/SC5、百度昆仑AI处理器边缘加速卡的状态信息与资源使用。并且云端提供加速卡的device-plugin安装，用户在安装后可在云端直接调度算力资源。

天工智能边缘2.0持续迭代，助力边缘硬件灵活配置

边缘硬件市场的发展正如火如荼地进行着，然而与之矛盾的是边缘计算目前尚没有一套成熟的技术体系，其中边缘设备异构严重，缺乏统一的标准和规范。升级后的天工智能边缘秉持着开放性强，可兼容性强的原则，支持节点容器化、模块化配置模式，允许用户自定义功能模块镜像以打造独有的边缘计算，支持边缘硬件灵活配置。

作为最近几年发展势头正盛的技术之一，容器技术以docker和k3s/k8s为底座，可以在具有主流架构（arm/amd）和标准linux操作系统的硬件上安装。它很好的解决了边缘设备异构的问题。相比物理机和虚拟机，容器技术非常轻量级，并且具有部署简单、支持多环境、启动时间更短、易扩容、易迁移等特点。

当前已经适配的国产智能边缘硬件包括但不限于：

寒武纪思元220边缘服务器(CONTEC CONPRO-i6040)
华为Atlas 800推理服务器（型号：3010）
比特大陆SE5
大疆无人机妙算2
EdgeBoard边缘AI计算盒（FZ5）
华为Atlas
- 华为Atlas 800推理服务器（型号：3000）
- 华为Atlas 200

针对非标linux系统，如华为Atlas 200DK，或硬件较弱的边缘盒子，节点也可通过进程模式的方式运行，更适合物联网场景。

天工智能边缘助力实现加速卡算力远程监控，提升加速卡资源分配效率

用户在使用国产化边缘硬件时通常会遇到两个问题，一是无法在云端直接看到边缘AI加速卡的硬件状态和使用情况，原本云端能监控到的边缘资源使用情况，仅限于内存，CPU，GPU等；另一个是多卡资源调度的问题，用户需远程登录边缘设备来进行应用的加速卡资源分配，操作便捷性有待提升。

迭代升级后的天工智能边缘将完美解决上述两个问题，实现加速卡算力云端监控并提升卡资源分配效率。目前天工智能边缘支持AI加速卡包含：NVIDIA GPU， NVIDIA Jetson系列，寒武纪MLU270、华为昇腾310、比特大陆SE5/SC5、百度昆仑AI处理器。

加速卡算力云端监控

当边缘盒子用于边缘推断时，算力的使用情况是用户最关心的内容之一。天工智能边缘针对上述提到的国产智能边缘硬件分别做了适配，支持用户在云端获取加速卡的硬件信息，如芯片个数等，并监控加速卡的硬件状态和算力使用情况，如板卡状态，温度，能耗，内存使用率，算力使用率等。

以atlas300为例子，来详细介绍天工智能边缘如何纳管atlas300，并实现atlas 300 的NPU资源监控。更多操作可以参考产品官方文档中操作指南> AI加速卡章节。https://cloud.baidu.com/doc/BIE/s/jkxju6kh4

创建AI加速卡为华为昇腾310的边缘节点，如下图所示：

安装节点，节点安装好后会出现baetyl-accelerator-metrics的pod，由它负责采集atlas300的NPU资源使用率等信息。

2.进入节点详情，选择AI加速卡页面，可以查看加速卡监控信息与算力使用情况。

与端上资源使用做比较, 结果一致。

提升加速卡算力调度效率

除算力监控外，算力资源的调度管理也是使用过程中很重要的一环。天工智能边缘此次升级，集成了国产智能边缘硬件的device-plugin插件。安装插件后，用户可以在云端通过资源限制功能动态调度显卡资源。

以昇腾310为例，Ascend Device Plugin是华为基于Kubernetes设备插件机制，增加昇腾处理器的设备发现、设备分配、设备健康状态上报功能，使得Kubernetes可以管理昇腾处理器资源。此次升级将Ascend Device Plugin集成到天工智能边缘中。

首先在创建节点时选择AI加速卡为华为昇腾310，进入节点AI加速卡界面选择配置资源分配，安装资源分配应用。这一步会将指定加速卡的device-plugin安装到边缘侧。

应用安装完毕后，用户只需在创建容器应用时，选择相应的资源限制，即可指定容器所需要的芯片类型和个数。

天工智能边缘的此次迭代升级，提高了国产硬件的可适配性，也为国产边缘AI系硬件打开了新的可能，当然这只是天工智能边缘与国产化AI硬件适配融合的第一步。未来，天工智能边缘将持续扩大边缘硬件生态，加深与国产化硬件的合作，助力边缘市场蓬勃发展和人工智能行业多场景落地。

国产化硬件适配能力再升级，百度天工AIoT智能边缘助力提升边缘AI算力可控能力相关推荐

百度天工AIoT打造农业种植方案，推动智慧农业规模化应用
近日,农业农村部印发了<"十四五"全国农业农村信息化发展规划>(以下简称<规划>),规划指出将全面推动现代信息技术与农业农村各领域各环节深度融合,统筹推进智 ...
百度天工AIoT打造农业种植方案，用数字经济助力建设农业新模式
近日,农业农村部印发了<"十四五"全国农业农村信息化发展规划>(以下简称<规划>),规划指出将全面推动现代信息技术与农业农村各领域各环节深度融合,统筹推进智 ...
常青：小程序音视频能力再升级
LiveVideoStack采访了腾讯云音视频业务终端研发团队负责人常青,针对小程序音视频能力技术升级.场景支持.政策审核以及未来演进趋势进行了详细的探讨. 文 / 常青策划 / LiveVideo ...
企业微信与微信互通能力再升级全面打通与视频号的连接
1月11日消息,腾讯微信事业群副总裁.企业微信负责人黄铁鸣今日公布了企业微信的最新成绩:企业微信上的真实企业与组织数超1000万,活跃用户数超1.8亿,连接微信活跃用户数超过5亿.企业微信团队同时披露 ...
软件智能：aaas系统中AI的任务能力和工作
概要(内容概述) <同一> 将设计目标确定为"软件智能"的aaas中,AI的任务和AI能力的工作原理大致如下: 不断思索抽象理论和现实世界之间的不可避免的不匹配的问题( ...
ChatGPT官宣数学能力再升级，网友：终于精通十以内加减法了
来源:机器之心本文约3000字,建议阅读5分钟随着 ChatGPT 热度一直不减,OpenAI 持续拓展其能力.同时,ChatGPT 的竞品不断涌现,如何更准确检测其生成文本也成为了近来学界的一大 ...
刚刚，ChatGPT官宣数学能力再升级，网友：终于精通十以内加减法了
随着 ChatGPT 热度一直不减,OpenAI 持续拓展其能力.同时,ChatGPT 的竞品不断涌现,如何更准确检测其生成文本也成为了近来学界的一大研究课题. 自 ChatGPT 发布以来,它的能力 ...
Java应用全链路启动速度提升至15s，阿里云SAE能力再升级
简介:Java 作为一门面向对象编程语言,在性能方面的卓越表现独树一帜.但在高性能的背后,Java 的启动性能差也令人印象深刻,大家印象中的 Java 笨重.缓慢的印象也大多来源于此,高性能和快启动速 ...
BCS2022|“体系化防御，数字化运营” 奇安信终端安全能力再升级
7月13日,以"零事故之路"为主题的2022年北京网络安全大会(BCS 2022)正式开幕. 在大会首日,奇安信对外发布能力升级后的终端安全产品矩阵,进一步强化了"体系化 ...

国产化硬件适配能力再升级，百度天工AIoT智能边缘助力提升边缘AI算力可控能力

国产化硬件适配能力再升级，百度天工AIoT智能边缘助力提升边缘AI算力可控能力相关推荐

最新文章

热门文章