【华为云技术分享】网络场景AI模型训练效率实践

2024-06-06 16:57:34

问题

在网络场景下的AI模型训练的过程中，KPI异常检测项目需要对设备内多模块、多类型数据，并根据波形以及异常表现进行分析，这样的数据量往往较大，对内存和性能要求较高。

同时，在设计优化算法时，需要快速得到训练及测试结果并根据结果来调整算法，因此进一步要求计算内存和性能达到较高的水平。

当前，本地安全PC性能难以满足调试要求，难点主要在于，时间序列数据以csv文件格式存储，需要根据时序关系以及五维关键字拆分成以五维关键字为主键的唯一时序数据，这一过程需要将同一台设备所有KPI文件同时读入内存，一星期KPI数据文件就达到GB级别，单单本机训练就需要41Min。同时，每台网管设备纳管几千台设备，训练花的时间将按设备数对应倍数增加，单进程执行网管设备局点数据分析的时间将到达Month级别。

KPI异常检测项目希望能够根据KPI数据特点，显著缩短训练时间，以满足快速测试算法调优的需求。

华为解决方案

1. 对华为NAIE训练平台现有任务机制进行拓展，任务可使用Master-Worker机制，即原来的任务变成Master控制消息分发，在其命名空间下创建N个子任务，循环处理数据

2. 设计一套简单易用的API，尽量对业务代码无侵入

导入依赖：

我们从naie sdk中导入两个装饰器

定义数据：

假设我们有四个数据集实例，我们将它定义为一个列表

如上面代码所示，主程序每次接受一个列表中的元素，其余代码和单机保持一致。

after装饰器下面的代码只会在主节点上运行一次，它执行的时机是所有的主程序运行完之后，请根据业务的需求决定是否添加。

改进效果

基于华为NAIE训练平台的拓展使用结果显示，显著缩短KPI异常检测项目的训练时间，50个同等大小的文件夹如果在本地运行约需要34hour，扩大训练任务节点数后（现为30个），50个同等大小的文件夹在训练平台运行时间缩短为2hour。

来自公众号：网络人工智能园地作者：于泽阳

点击这里，了解更多精彩内容

【华为云技术分享】网络场景AI模型训练效率实践相关推荐

【华为云技术分享】ARMv8-A存储模型概述(2)
上一期中我们介绍了ARMv8-A架构中的地址转换机制和访问控制机制,这一期我们将考察ARMv8-A架构中的应用级内存模型(Application Level Memory Model). 一.ARMv ...
【华为云技术分享】ARMv8-A存储模型概述(1)
上两期中我们介绍了处理器存储模型的一般概念,这一期我们将介绍ARMv8-A架构中的地址转换系统. 一.VMSAv8-64地址转换系统虚拟内存系统架构(Virtual MemorySystem Arc ...
【华为云技术分享】处理器存储模型概述(1)
上一期中我们介绍了ARMv8-A架构中的异常级别,从这一期开始的接下来四期我们将介绍ARMv8-A的存储模型.第一期我们将介绍存储模型中地址转换和访存控制的一般概念,第二期我们将介绍缓存相关的基本概念 ...
【华为云技术分享】处理器存储模型概述(2)
上一期中我们介绍了处理器的地址转换机制和访问控制机制,这一期我们将考察处理器中的缓存机制. 一.处理器的缓存机制计算机中用于存储的硬件设备主要有寄存器.缓存.主存和磁盘,处理器访问它们的速度依次减小 ...
【华为云技术分享】“技术-经济范式”视角下的开源软件演进剖析-part 1
前言以互联网为代表的信息技术的迅猛发展对整个经济体系产生了巨大的影响.信息技术的发展一方面使知识的积累和传播更加迅速,知识爆炸性的增长:另一方面,使信息的获取变得越来越容易,信息交流的强度逐渐增加, ...
【华为云技术分享】“技术-经济范式”视角下的开源软件演进剖析-part 3
4. 微观层面 4.1 个体动机在开源软件发展之初, 商业组织的投入很少甚至没有, 完全是靠Richard Stallman 或者 linus Torvalds 这样的个人在努力推动开源软件艰难前行 ...
【华为云技术分享】三大前端技术(React,Vue,Angular)探密（下）
[华为云技术分享]三大前端技术(React,Vue,Angular)探密(上) [Angular] Angular(通常被称为 "Angular 2+"或 "Angula ...
【华为云技术分享】AI 开发路漫漫，什么才是真正的极客精神？
摘要:AI开发看上去很美,实践起来却不是一件容易的事.一个聪明的开发者知道借助工具提升开发效率,一个智能的平台则会站在开发者的立场,为用户提供贴心服务. "理想很丰满,现实很骨感." ...
【华为云技术分享】华为云HiLens全面升级，端云协同多模态AI应用开发利器
[中国,深圳,2020年3月28日] 在华为开发者大会2020(Cloud)期间,华为云推出了全面升级的业界首个端云协同多模态AI应用开发套件--HiLens ,打通线上线下开发和部署流程,开发者只需 ...

最新文章

热门文章