MindSpore Lite整体架构介绍

MindSpore Lite整体架构介绍
MindSpore Lite框架的总体架构如下所示：

• 前端（Frontend）：负责模型生成，用户可以通过模型构建接口构建模型，将第三方模型和MindSpore训练的模型转换为MindSpore Lite模型，其中第三方模型包括TensorFlow Lite、Caffe 1.0和ONNX模型。
• IR：负责MindSpore的Tensor定义、算子定义和图定义。
• Backend：基于IR进行图优化，包括GHLO、GLLO和量化三部分。其中，GHLO负责和硬件无关的优化，如算子融合、常量折叠等；GLLO负责与硬件相关的优化；量化Quantizer支持权重量化、激活值量化等训练后量化手段。
• Runtime：智能终端的推理运行时，其中session负责会话管理，提供对外接口；线程池和并行原语负责图执行使用的线程池管理，内存分配负责图执行中各个算子的内存复用，算子库提供CPU、GPU和NPU算子。
• Micro： IoT设备的运行时，包括模型生成.c文件、线程池、内存复用和算子库。
其中，Runtime和Micro共享底层的算子库、内存分配、线程池、并行原语等基础设施层。

MindSpore Lite整体架构介绍相关推荐

MindSpore整体架构介绍
MindSpore整体架构介绍 MindSpore框架架构总体分为MindSpore前端表示层.MindSpore计算图引擎和MindSpore后端运行时三层. • MindSpore前端表示层(Mi ...
Linux内核的整体架构介绍
1. 前言本文是"Linux内核分析"系列文章的第一篇,会以内核的核心功能为出发点,描述Linux内核的整体架构,以及架构之下主要的软件子系统.之后,会介绍Linux内核源文件的 ...
DM 源码阅读系列文章（二）整体架构介绍
2019独角兽企业重金招聘Python工程师标准>>> 作者:张学程本文为 DM 源码阅读系列文章的第二篇,第一篇文章简单介绍了 DM 源码阅读的目的和规划,以及 DM 的源码结 ...
商品详情页整体架构介绍
商品详情分为三部分,整体架构如下图: 依赖服务(源) -> MQ -> 动态渲染服务 -> 多级缓存负载均衡 -> 分发层nginx -> 应用层nginx -> ...
基于Hadoop的大数据平台的整体架构介绍
原文地址:点击打开链接 Hadoop是开源的分布式存储+分布式计算平台的框架大数据的热度在持续的升温,继云计算之后大数据成为又一大众所追捧的新星.我们暂不去讨论大数据到底是否适用于您的组织,至少在互 ...
go微服务框架go-micro深度学习(一) 整体架构介绍
产品嘴里的一个小项目,从立项到开发上线,随着时间和需求的不断激增,会越来越复杂,变成一个大项目,如果前期项目架构没设计的不好,代码会越来越臃肿,难以维护,后期的每次产品迭代上线都会牵一发而动全身.项目 ...
ENode 1.0 - 整体架构介绍
前言今天是个开心的日子,又是周末,可以安心轻松的写写文章了.经过了大概3年的DDD理论积累,以及去年年初的第一个版本的event sourcing框架的开发以及项目实践经验,再通过今年上半年利用业余 ...
海思3518E开发笔记1.1——HI3518E方案整体架构介绍
目录前言硬件软件前言在做一个项目之前,需要对这个项目在一个比较高的高度进行了解. 如,硬件构成.软件是裸机的还是带操作系统的,带操作系统的是怎么样一个开发流程. 得对项目由打到校进行了解,知 ...
【Apache OFBiz 系列】OFBiz整体架构介绍
背景描述 OFBiz同样作为一个企业级应用开发的框架,与市面上Spring.Struts等框架有何区别?OFBiz是基于最新J2EE/XML规范和技术标准,构建大中型企业级.跨平台.跨数据库.跨应用服 ...

MindSpore Lite整体架构介绍

MindSpore Lite整体架构介绍相关推荐

最新文章

热门文章