昇腾AI处理器软件栈--神经网络软件架构

为完成一个神经网络应用的实现和执行，昇腾AI软件栈在深度学习框架到昇腾AI处理器之间架起了一座桥梁，为神经网络从原始模型，到中间计算图表征，再到独立执行的离线模型提供了快速转化的捷径。昇腾AI软件栈围绕离线模型的生成、加载和执行，聚集了流程编排器、数字视觉预处理模块、张量加速引擎、框架管理器、运行管理器和任务调度器等功能块形成了一个完整的功能集群。

流程编排器负责完成神经网络在昇腾AI处理器上的落地与实现，统筹了整个神经网络生效的过程。
数字视觉预处理模块在输入之前进行一次数据处理和修饰，来满足计算的格式需求。
张量加速引擎作为神经网络算子兵工厂，为神经网络模型源源不断提供功能强大的计算算子。
框架管理器将原始神经网络模型转换成昇腾AI处理器支持的形态，并且将转换的模型与昇腾AI处理器相融合，引导神经网络运行并高效发挥出性能。
运行管理器为神经网络的任务下发和分配提供了各种资源管理通道。
任务调度器作为一个硬件执行的任务驱动者，为昇腾AI处理器提供具体的目标任务。运行管理器和任务调度器联合互动，共同组成了神经网络任务流通向硬件资源的大坝系统，实时监控和有效分发不同类型的执行任务。

总之，整个神经网络软件为昇腾AI处理器提供一个软硬件结合且功能完备的执行流程，助力相关AI应用的开发。

作者：Torrenza

昇腾AI处理器软件栈--神经网络软件架构相关推荐

昇腾AI处理器软件栈--运行管理器（Runtime）
神经网络构造中,算子组成了不同应用功能的网络结构.而张量加速引擎(Tensor Boost Engine)作为算子的兵工厂,为基于昇腾AI处理器运行的神经网络提供算子开发能力,用TBE语言编写的TBE ...
昇腾AI处理器软件栈--张量加速引擎（TBE）
神经网络构造中,算子组成了不同应用功能的网络结构.而张量加速引擎(Tensor Boost Engine)作为算子的兵工厂,为基于昇腾AI处理器运行的神经网络提供算子开发能力,用TBE语言编写的TBE ...
【华为云技术分享】昇腾AI处理器软件栈--总览
昇腾AI软件栈提供了计算资源.性能调优的运行框架以及功能多样的配套工具,是一套完整的解决方案,可以使昇腾AI处理器发挥出极佳的性能. 昇腾AI软件栈可以分为神经网络相关软件模块.工具链以及其它软件模块 ...
【昇腾学院】昇腾AI处理器软件栈--框架管理器（Framework）离线模型生成
离线模型生成以卷积神经网络为例,在深度学习框架下构造好相应的网络模型,并且训练好原始数据,再通过离线模型生成器进行算子调度优化.权重数据重排和压缩.内存优化等,最终生成调优好的离线模型.离线模型生成 ...
昇腾AI处理器软件栈--任务调度器（TS）
任务调度器与运行管理器工程组成软硬件之间的大坝系统.在执行时,任务调度器对硬件进行任务的驱动,为昇腾AI处理器提供具体的目标任务,与运行管理器一起完成任务调度流程,并将输出数据回送给运行管理器,充当了 ...
昇腾AI处理器软件栈--数字视觉预处理（DVPP）
数字视觉预处理模块作为昇腾AI软件栈中的编解码和图像转换模块,为神经网络发挥着预处理辅助功能.当来自系统内存和网络的视频或图像数据进入昇腾AI处理器的计算资源中运算之前,由于Davinci架构对输入数 ...
昇腾AI处理器软件栈--流程编排器（Matrix）
功能简介昇腾AI处理器对网络执行层次进行划分,将特定功能的执行操作看做基本执行单位--计算引擎(Engine).每个计算引擎在流程编排过程中对数据完成基本操作功能,如对图片进行分类处理.输入图片预处 ...
华为昇腾 AI 处理器架构大揭秘！ | 华为昇腾师资培训沙龙武汉场
「无 AI,不科技」.在AI 产业逐步落地成熟的今天,AI 人才的争夺战已打响,甚至有不少网友预测,未来AI 开发将成为人人必备的技能之一.不过,现实来看,无论是 AI 三驾马车中的数据.算力.算法, ...
【读一本书】《昇腾AI处理器架构与编程》--神经网络基础知识(2)
1 卷积神经网络:输入层之前提到多层感知机的参数太多,导致训练耗时长并且对图像处理也不具有优势,因此大神们就提出了多层神经网络,其中最经典的是卷积神经网络(Convolution Neural N ...

昇腾AI处理器软件栈--神经网络软件架构

昇腾AI处理器软件栈--神经网络软件架构相关推荐

最新文章

热门文章