本章学习目标

  • 了解CANN在晟腾AI全栈架构中的位置和作用。
  • 了解基于CANN的应用开发编程框架、基本概念。

晟腾AI全栈架构

晟腾AI全栈可以分差四个大部分:

  • 应用使能层面,此层面通常包含用于部署模型的硬件,例如API、SDK、部署平台,模型库等。
  • AI框架层面,此层面包含用于构建模型的训练框架,例如华为的MindSpore、TensorFlow、PyTorch等。
  • 异构计算架构,偏底层、偏通用的计算框架,用于针对上层AI框架的调用进行加速,力求向上支持多种AI框架,并在硬件上进行加速。
  • 计算硬件,本层是AI计算的底座,有了强力的芯片及硬件设备,上层的加速才有实施的基础。

异构计算架构CANN

华为公司面向计算机视觉、自然语言处理、推荐系统、类机器人等领域量身打造了基于“达芬奇(DaVinci)”架构的晟腾(Ascend)AI处理器,开启了智能之旅。为提升用户开发效率和释放晟腾AI处理器澎湃算力,同步推出针对AI场景的异构计算架构CANN(Compute Architecture for Neural Networks),CANN通过提供多层次的编程接口,以全场景、低门槛、高性能的优势,支持用户快速构建基于Ascend平台的AI应用和业务。
晟腾AI异构计算架构(Compute Architecture for Neural Networks,CANN)被抽象成五层架构,如下图所示。

  • 晟腾计算语音接口
    晟腾计算语音(Ascend Computing Language,AscendCL)接口是晟腾计算开放编程框架,是对底层晟腾计算服务接口的封装。它提供Device(设备)管理、Context(上下文)管理、Stream(流)管理、内存管理、模块加载与执行、算子加载与执行、媒体数据处理、Graph(图)管理等API库,供用户开发人工智能应用调用。
  • 晟腾计算服务层
    本层主要提供晟腾计算库,例如神经网络(Neural Network,NN)库、线性代数计算库(Basic Linear Algebra Subprograms,BLAS)等;晟腾计算调优引擎库,例如算子调优、子图调优、梯度调优、模型压缩以及AI框架适配器。
  • 晟腾计算编译引擎
    本层主要提供图编译器(Graph Compiler)和TBE(Tensor Boost Engine)算子开发支持。前者将用户输入中间表达(Intermediate Representation,IR)的计算图编译成NPU运行的模型。后者提供用户开发自定义算子所需的工具。
  • 晟腾计算执行引擎
    本层负责模型和算子的执行,提供如运行时(Runtime)库(执行内存分配、模型管理、数据收发等)、图执行器(Graph Executor)、数字视觉预处理(Digital Vision Pre-Processing,DVPP)、人工智能预处理(Artificial Intelligence Pre-Processing,AIPP)、华为集合通信库(Huawei Collective Communication Library,HCCL)等功能单元。
  • 晟腾计算基础层
    本层主要为其上各层提供基础服务,如共享虚拟内存(Shared Virtual Menmory,SVM)、设备虚拟化(Virtual Machine,VM)、主机-设备通信(Host Device Communication,HDC)等。

晟腾计算语言接口AscendCL

AscendCL(Ascend Computing Language,晟腾计算语言)是晟腾计算开发编程框架,是对底层晟腾计算服务接口的封装,它提供运行时的资源(例如设备、内存等)管理、模型加载与执行、算子加载与执行、图片数据解编码/裁剪/缩放处理等API库,实现在晟腾CANN平台上进行深度学习推理计算、图形图像预处理、单算子加速计算等能力。简单来说,就是统一的API框架,实现对所有资源的调用。

AscendCL的优势如下:

  • 高度抽象;算子编译、加载、执行的API归一,相比每个算子一个API,AscendCL大幅减少API数量,降低复杂度。
  • 向后兼容:AscendCL具备向后兼容,确保软件升级后,基于旧版本编译的程序依然可以在新版本上运行。
  • 零感知芯片:一套AscendCL接口可以实现应用代码统一,多款晟腾处理器无差异。

AscendCL的主要应用场景如下:

  • 开发应用:用户可以直接调用AscendCL提供的接口开发图片分类应用、目标识别应用等。
  • 供第三方框架调用:用户可以通过第三方框架调用AscendCL接口,以便使用晟腾AI处理器的计算呢能力。
  • 供第三方开发lib库:用户还可以使用AscendCL封装实现第三方lib库,以便提供晟腾AI处理器的运行管理、资源管理等能力。

【2023 · CANN训练营第一季】晟腾AI入门课(TensorFlow)第一章 晟腾AI基础知识介绍相关推荐

  1. 余承东回应高通对华为恢复 5G 芯片供应;ChatGPT 发布重要更新;微软推出免费 AI 入门课|极客头条

    「极客头条」-- 技术人员的新闻圈! CSDN 的读者朋友们早上好哇,「极客头条」来啦,快来看今天都有哪些值得我们技术人关注的重要新闻吧. 整理 | 梦依丹 出品 | CSDN(ID:CSDNnews ...

  2. 【2023·CANN训练营第一季】昇腾AI入门课(TensorFlow)学习总结

    最近AI可是非常火爆,ChatGPT成为互联网领域最大的风口,带来了各个行业的焦点,也产生了很多场景的AI应用,这将改变人与工具的交互方式,为我们生活提供更便捷的服务.        此次正好报名参加 ...

  3. 【2023 · CANN训练营第一季】——Ascend C算子开发入门——第一次课

    前言:昇腾AI处理器的算子开发增加了一种新的方式,称之为TIK2,正式名称是Ascend C算子开发.不同于采用Python的DSL和TIK方式,Ascend C使用C/C++作为前端语言的算子开发工 ...

  4. 16第一章 ASP.Net编程基础知识

    第一章        ASP.Net编程基础知识 第一章        ASP.Net编程基础知识 本章首先介绍用ASP.Net技术编制服务器端动态网页所需的网络和HTML标记语言方面的有关知识.然后 ...

  5. 第一章c语言基础知识答案,第一章 C语言的基础知识练习题

    第一章 C语言的基础知识练习题 第一章 C语言的基础知识 第一节 对C语言的初步认识 习题 1. 下列叙述中错误的是 B A)任何一个C程序都必须有且仅有一个main函数,C语言总是从main函数开始 ...

  6. Python基础教程(第3版)中文版 第一章 快速上手:基础知识(笔记)

    前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,分享给大家: https://www.captainai.net/lf 如果你学完了Python不知道干什么,不妨去了解一下. 第一章 快速 ...

  7. 【2023 · CANN训练营第一季】昇腾AI入门课(PyTorch)第一章学习笔记——Hi Ascend

    第一章 昇腾AI基础知识 华为AI全栈的解决方案分为四层,分别是,芯片层,芯片使能层,AI框架层,应用使能层.那么这四个层面分别是用来做什么的呢?且看我娓娓道来. 1.芯片层 芯片层也叫Ascend层 ...

  8. 老友记第一季台词打印_老友记(六人行)第一季剧本省纸打印版.doc

    老友记(六人行)第一季剧本省纸打印版 101 The One Where Monica Gets a New Roommate (The Pilot-The Uncut Version) [Scene ...

  9. 昇腾CANN训练营-应用营第二期-第三课作业流程记录

    课程及作业地址:ascend_camp: CANN训练营第二期-应用营 (gitee.com) 一.基本作业 1.在上节课申请的镜像环境中,安装opencv-python,并进入python3,输入i ...

最新文章

  1. 深入Java核心 Java中多态的实现机制(1)
  2. 亿级别记录的mongodb批量导入Es的java代码完整实现
  3. SAP Cloud for Customer的employee创建会自动生成Business partner
  4. inputn函数与input函数的区别
  5. GBDT算法(最简单)
  6. 易语言静态连接器提取_vc98linker修复静态|易语言vc98linker静态连接器迷你版_最火软件站...
  7. Chrome 扩展程序 CrxMouse Techzero优化版 更新至 v3.0.4
  8. 更多:Racket系统编程
  9. EMC辐射骚扰整改案例分析
  10. B样条曲线与曲面相关知识点汇总
  11. 关于bit-banding的解释和相关作用(转载)
  12. 微信小程序实现封装处理
  13. matlab如何就导数,Matlab微分和导数
  14. centos修正时区
  15. pl/sql oracle导出,用pl/sql实现oracle数据的导出和导入
  16. 一团乱麻的长租公寓行业,如何通过科技赋能从逆境中突围而出?
  17. python-编码实现指数平滑法移动平均法
  18. web前端期末大作业 html+css家乡旅游主题网页设计---湖南 登录或注册表单
  19. 查找字符串中某个字符出现的次数
  20. 5331. 【NOIP2017提高A组模拟8.23】壕游戏 费用流 动态连边

热门文章

  1. Android N 指纹框架
  2. 正大国际期货:正大期货公司开户指南
  3. 投影矩阵(投影变换)解惑
  4. 雅睿生物在创业板IPO终止:安信证券为保荐人,曾计划募资7.5亿元
  5. 中国56个民族拼音表
  6. 数据中台稳定性的“四高” | StartDT Tech Lab 18
  7. 反向代理和正向代理的区别
  8. PDF转成Word或PPT后还是图片是怎么回事?
  9. 计算机里面怎么建新的文档,【2人回答】怎样在电脑新建中添加Word文档?-3D溜溜网...
  10. 解决ijkplayer和阿里云播放器冲突的解决