1、基本概念

SNPE是高通推出的一个神经网络加速引擎，他可以同时利用到DSP和GPU、GPU。

目前最新版本的SNPE1.54支持TensorFlow, Caffe, Caffe2, ONNX, TensorFlow, PyTorch

转换的流程大致如下：

将训练好的模型用SNPE的工具转成DLC文件就可以在SNPE运行环境里跑了。装成DLC之后也可以用它自带的量化工具量化成8位整形，放到DSP上跑。

各芯片支持：

2、运行环境

大致架构如下：

DL Container Loader：加载DLC工具

Model Validation : 验证DLC工具

Runtime Engine : 推理引擎

Partitioning Logic : 将模型划分成多个子网络

Runtime
CPU	支持双精度浮点和8位量化的模型
GPU	支持混合精度或者单精度浮点
DSP	支持8位整形
AIP	支持8位整形

HTA: 全称Hexagon Tensor Accelerator，既Hexagon张量加速器。如果要在HTA上运行模型的一部分就需要用工具（snpe-dlc-quantize）对模型进行量化并且将其二值化然后嵌入到DLC中。有些情况下也可能手动的去分配哪些子网络在HTA上运行会更高效

HVX：Hexagon Vector eXtensions，向量处理扩展核心

SNPE可以将AIP剩余的部分放到CPU上运行

HTA自网络：对应着HTA编译器编译的部分，他的元数据来源于DFC的HTA部分

HNN子网络：对应着可以用Hexagon NN 库在DSP上运行的子网络，他的元数据是DLC的HVX部分

AIP: AIP（AI Processor）可以交叉使用HTA， HVX， Q6去运行神经模型。而Q6就是协调HTA和HVX一起运行的

AIP（AI Processor）运行环境有以下几种方式：

A: 全部在HTA上运行

当你选择AIP运行环境时默认时完全的HTA

B: 部分在HTA上运行，部分在HNN上运行

当所有的子网络不能再HTA上运行时，HTA智能编译一个更小的子集

你也可以手动划分一个子网络到HTA上运行

C：可以手动划分多个部分

SNPE教程一：基本概念相关推荐

大学英语综合教程一 Unit1至Unit8 课文内容英译中中英翻译
大学英语综合教程一 Unit1至Unit8 课文内容英译中中英翻译大家好,我叫亓官劼(qí guān jié ),在CSDN中记录学习的点滴历程,时光荏苒,未来可期,加油~博客地址为:亓官劼的 ...
shell教程一：介绍
shell教程一 :介绍大家好,自工作至今,因为工作环境原因(CenOS6.X 集群),经常用到shell的编程,shell是linux下开发必不可少的利器.为了能让想学习的朋友,能快速上手.so ...
AUTOCAD自学教程一
AUTOCAD自学教程一 AUTOCAD自学教程在学习任何一款软件的时候,第一步也是非常必要的一步就是如何的安装软件. 下面我们讲解如何的安装这个软件. 1.安装autocad 2.安装产品 3.正 ...
pytorch打印模型参数_Pytorch网络压缩系列教程一:Prune你的模型
Pytorch网络压缩系列教程一:Prune你的模型本文由林大佬原创,转载请注明出处,来自腾讯.阿里等一线AI算法工程师组成的QQ交流群欢迎你的加入: 1037662480 深度学习模型取得了前所未 ...
MongoDB 教程一: 安装和使用 (Mongodb启动命令mongod参数说明)
视频: MongoDB 教程一: 安装和使用 Mongodb启动命令mongod参数说明我们可以通过mongod --help查看mongod的所有参数说明,以下是各参数的中文解释. 基本配置 –q ...
初识c语言教程,第1课C语言教程一：初识C程序.doc
第1课C语言教程一: 初识C程序第1课初识C程序教学目标 1.计算机语言介绍 2.了解C语言 3.如何学好C语言(多做题,多上机调试程序) 4.C语言上机调试环境教学过程计算机程序设计语言的 ...
大学英语综合教程一 Unit 8 课文内容英译中中英翻译
大学英语综合教程一 Unit 8 课文内容英译中中英翻译大家好,我叫亓官劼(qí guān jié ),在CSDN中记录学习的点滴历程,时光荏苒,未来可期,加油~博客地址为:亓官劼的博客本文 ...
大学英语综合教程一 Unit 2 课文内容英译中中英翻译
大学英语综合教程一 Unit 2 课文内容英译中中英翻译大家好,我叫亓官劼(qí guān jié ),在CSDN中记录学习的点滴历程,时光荏苒,未来可期,加油~博客地址为:亓官劼的博客本文 ...
原创 | k8s系列教程一：开篇
作者:潘吉祥欢迎加入k8s学习系列教程,在接下来的系列文章,你将可以在较短的时间内达到入门k8s的效果. k8s是什么 Kubernetes(K8S)作为Google在2014年发布的一个开源项目, ...

SNPE教程一：基本概念

1、基本概念

2、运行环境

SNPE教程一：基本概念相关推荐

最新文章

热门文章