MindStudio模型训练场景精度比对全流程和结果分析

视频案例，可以查看哔哩哔哩MindStudio模型训练场景精度比对全流程和结果分析_哔哩哔哩_bilibili「链接」

一、基于MindStudio模型精度比对介绍

1.1 MindStudio介绍

MindStudio是一套基于华为昇腾AI处理器开发的AI全栈开发平台，包括基于芯片的算子开发、以及自定义算子开发，同时还包括网络层的网络移植、优化和分析，另外在业务引擎层提供了可视化的AI引擎拖拽式编程服务，极大的降低了AI引擎的开发门槛。MindStudio工具中的功能框架如图1所示：

图1 MindStudio功能框架

MindStudio工具中的主要几个功能特性如下：

l 工程管理：为开发人员提供创建工程、打开工程、关闭工程、删除工程、新增工程文件目录和属性设置等功能。

l SSH管理：为开发人员提供新增SSH连接、删除SSH连接、修改SSH连接、加密SSH密码和修改SSH密码保存方式等功能。

l 应用开发：针对业务流程开发人员，MindStudio工具提供基于AscendCL（Ascend Computing Language）和集成MindX SDK的应用开发编程方式，编程后的编译、运行、结果显示等一站式服务让流程开发更加智能化，可以让开发者快速上手。

l 自定义算子开发：提供了基于TBE和AI CPU的算子编程开发的集成开发环境，让不同平台下的算子移植更加便捷，适配昇腾AI处理器的速度更快。

l 离线模型转换：训练好的第三方网络模型可以直接通过离线模型工具导入并转换成离线模型，并可一键式自动生成模型接口，方便开发者基于模型接口进行编程，同时也提供了离线模型的可视化功能。

l 日志管理：MindStudio为昇腾AI处理器提供了覆盖全系统的日志收集与日志分析解决方案，提升运行时算法问题的定位效率。提供了统一形式的跨平台日志可视化分析能力及运行时诊断能力，提升日志分析系统的易用性。

l 性能分析：MindStudio以图形界面呈现方式，实现针对主机和设备上多节点、多模块异构体系的高效、易用、可灵活扩展的系统化性能分析，以及针对昇腾AI处理器的性能和功耗的同步分析，满足算法优化对系统性能分析的需求。

l 设备管理：MindStudio提供设备管理工具，实现对连接到主机上的设备的管理功能。

l 精度比对：可以用来比对自有模型算子的运算结果与Caffe、TensorFlow、ONNX标准算子的运算结果，以便用来确认神经网络运算误差发生的原因。

l 开发工具包的安装与管理：为开发者提供基于昇腾AI处理器的相关算法开发套件包Ascend-cann-toolkit，旨在帮助开发者进行快速、高效的人工智能算法开发。开发者可以将开发套件包安装到MindStudio上，使用MindStudio进行快速开发。Ascend-cann-toolkit包含了基于昇腾AI处理器开发依赖的头文件和库文件、编译工具链、调优工具等。

1.2 精度比对介绍

自有实现的算子在昇腾AI处理器上的运算结果与业界标准算子（如Caffe、ONNX、TensorFlow、PyTorch）的运算结果可能存在差异：

l 在模型转换过程中对模型进行了优化，包括算子消除、算子融合、算子拆分，这些动作可能会造成自有实现的算子运算结果与业界标准算子（如Caffe、TensorFlow、ONNX）运算结果存在偏差。

l 用户原始网络可以迁移到昇腾910 AI处理器上执行训练，网络迁移可能会造成自有实现的算子运算结果与用业界标准算子（如TensorFlow、PyTorch）运算结果存在偏差。

为了帮助开发人员快速解决算子精度问题，需要提供比对自有实现的算子运算结果与业界标准算子运算结果之间差距的工具。精度比对工具提供Vector比对能力，包含余弦相似度、最大绝对误差、累积相对误差、欧氏相对距离、KL散度、标准差、平均绝对误差、均方根误差、最大相对误差、平均相对误差的算法比对维度。

二、环境准备

在进行实验之前需要配置好远端Linux服务器并下载安装MindStudio。

首先在Linux服务器上安装部署好Ascend-cann-toolkit开发套件包、Ascend-cann-tfplugin框架插件包和TensorFlow 1.15.0深度学习框架。之后在Windows上安装MindStudio，安装完成后通过配置远程连接的方式建立MindStudio所在的Windows服务器与Ascend-cann-toolkit开发套件包所在的Linux服务器的连接，实现全流程开发功能。

接下来配置环境变量，以运行用户登录服务器，在任意目录下执行vi ~/.bashrc命令，打开.bashrc文件，在文件最后一行后面添加以下内容（以非root用户的默认安装路径为例）。

然后执行:wq!命令保存文件并退出。

最后执行source ~/.bashrc命令使其立即生效。

关于MindStudio的具体安装流程可以参考Windows安装MindStudio（点我跳转），MindStudio环境搭建指导视频（点我跳转）。MindStudio官方下载地址：点我跳转。

本文教程基于MindStudio5.0.RC2 x64，CANN版本5.1.RC2实现。

三、准备基于GPU运行生成的原始训练网络npy数据文件

3.1 获取项目代码

本样例选择resnet50模型，利用git克隆代码（git clone -b r1.13.0 https://github.com/tensorflow/models.git），下载成功后如下图所示：

3.2 生成数据前处理

数据比对前，需要先检查并去除训练脚本内部使用到的随机处理，避免由于输入数据不一致导致数据比对结果不可用。

编辑resnet_run_loop.py文件，修改如下（以下行数仅为示例，请以实际为准）：

注释掉第83、85行

注释掉第587~594行

第607行，修改为“return None”

编辑cifar10_main.py文件，将train_epochs的值改为1。

3.3 生成npy文件

进入训练脚本所在目录（如“~/models/official/resnet”），修改训练脚本，添加tfdbg的hook。编辑resnet_run_loop.py文件，添加如下加粗字体的信息。

配置环境变量

执行训练脚本

训练任务停止后，在命令行输入run，训练会往下执行一个step。

执行lt>gpu_dump命令将所有tensor的名称暂存到自定义名称的gpu_dump文件里。命令行中会有如下回显。

另外开启一个终端，在linux命令行下进入gpu_dump文件所在目录，执行下述命令，用以生成在tfdbg命令行执行的命令。

timestamp=$[$(date +%s%N)/1000] ; cat gpu_dump | awk '{print "pt",$4,$4}' | awk '{gsub("/", "_", $3);gsub(":", ".", $3);print($1,$2,"-n 0 -w "$3".""'$timestamp'"".npy")}'>dump.txt

将上一步生成的dump.txt文件中所有tensor存储的命令复制（所有以“pt”开头的命令），然后回到tfdbg命令行（刚才执行训练脚本的控制台）粘贴执行，即可存储所有的npy文件，存储路径为训练脚本所在目录。

退出tfdbg命令行，将生成的npy文件保存到tf_resnet50_gpu_dump_data（用户可自定义）目录下。

四、准备基于NPU运行生成的训练网络dump数据和计算图文件

4.1 分析迁移

单击菜单栏“File > New > Project...”弹出“New Project”窗口。

在New Project窗口中，选择Ascend Training。输入项目的名称、CANN远程地址以及本地地址。点击Change配置CANN，如下图所示：

l Name：工程名称，可自定义。

l Description：工程描述，可按需补充关于工程的详细信息。

l CANN Version：CANN软件包版本，如未识别或想要更换使用的版本，可单击“Change”，在弹出界面中选择Ascend-cann-toolkit开发套件包的安装路径（注意需选择到版本号一级）。

l Project Location：工程目录，默认在“$HOME/AscendProjects”下创建。

点击右侧＋进行配置远程服务器，如下图所示：

在出现的信息配置框输入相关配置信息，如下图所示：

输入服务器的SSH信息，如果测试连接失败，建议使用CMD或XShell等工具进行排查。

选择远程 CANN 安装位置，如下图所示：

在Remote CANN location中选择CANN的路径，需要注意的是必须选择到CANN的版本号目录，这里选择的是5.1.RC2版本，如下图所示：

点击确定后，需要等待MindStudio进行文件同步操作，这个过程会持续数分钟，期间如果遇到Sync remote CANN files error.错误，考虑是否无服务器root权限。

配置完成CANN点击下一步

在训练工程选择界面，选择“TensorFlow Project”，单击“Finish”。

进入工程界面，单击工具栏中

按钮（ TensorFlow GPU2Ascend工具）。

进入“TensorFlow GPU2Ascend”参数配置页，配置command file

l Command File：tfplugin插件包中的工具脚本文件。

l Input Path：待转换脚本文件的路径。

l Output Path：脚本转换后的输出路径。

根据tfplugin文件所在路径选择/Ascend/tfplugin/5.1.RC2/python/site-packages/npu_bridge/convert_tf2npu/main.py，如下图所示

同样的，选择下载的代码路径作为input path，并选择输出路径，如下图所示：

点击Transplant进行转换，如下图所示：

出现“Transplant success!”的回显信息，即转换成功。如下图所示：

4.2 生成dump数据和计算图文件

步骤一 dump前准备。

编辑resnet_run_loop.py文件，修改如下（以下行数仅为示例，请以实际为准）：

注释掉第83、85行

把max_steps设置为1。

注释掉第575~582行

注释掉第595行，修改为“return None”。

编辑cifar10_main.py文件，将train_epochs的值改为1。

步骤二 dump参数配置。

为了让训练脚本能够dump出计算图，我们在训练脚本中的包引用区域引入os，并在构建模型前设置DUMP_GE_GRAPH参数。配置完成后，在训练过程中，计算图文件会保存在训练脚本所在目录中。

编辑cifar10_main.py，添加如下方框中的信息。

修改训练脚本（resnet_run_loop.py），开启dump功能。在相应代码中，增加如下方框中的信息。

步骤三环境配置。

单击MindStudio菜单栏“Run > Edit Configurations...”。

进入运行配置界面，选择迁移后的训练脚本。

配置环境变量，打开下图所示界面，配置训练进程启动依赖的环境变量，参数设置完成后，单击“OK”，环境变量配置说明请参见下表。

环境变量的解释如下表所示：

User environment variables
JOB_ID	训练任务ID，用户自定义，仅支持大小写字母，数字，中划线，下划线。不建议使用以0开始的纯数字。
ASCEND_DEVICE_ID	指定昇腾AI处理器的逻辑ID，单P训练也可不配置，默认为0，在0卡执行训练。
RANK_ID	指定训练进程在集合通信进程组中对应的rank标识序号，单P训练固定配置为0。
RANK_SIZE	指定当前训练进程对应的Device在本集群大小，单P训练固定配置为1。
RANK_TABLE_FILE	如果用户原始训练脚本中使用了hvd接口或tf.data.Dataset对象的shard接口，需要配置，否则无需配置。由于ResNet50原始训练脚本中使用了tf.data.Dataset对象的shard接口，因此需要配置，请指定训练前准备中准备好的配置文件。
PYTHONPATH	请在此配置项末尾追加迁移后的模型所在路径

步骤四执行训练生成dump数据。

点击按钮开始训练

训练时控制台输出如下所示：

resnet目录下生成的数据文件展示如下：

在所有以“_Build.txt”为结尾的dump图文件中，查找“Iterator”这个关键词。记住查找出的计算图文件名称，用于后续精度比对。

如上图所示，“ge_proto_00000343_Build.txt”文件即是我们需要找到的计算图文件。将此文件拷贝至用户家目录下，便于在执行比对操作时选择。

打开上面找到的计算图文件，记录下第一个graph中的name字段值。如下示例中，记录下“ge_default_20220926160231_NPU_61”。

进入以时间戳命名的dump文件存放路径下，找到刚记录的名称为name值的文件夹，例如ge_default_20220926160231_NPU_61，则下图目录下的文件即为需要的dump数据文件：

五比对操作

在MindStudio菜单栏选择“Ascend > Model Accuracy Analyzer > New Task”，进入精度比对参数配置界面。

配置tookit path，点击文件标识，如下图所示：

选择对应的版本，如5.1.RC2版本，单击ok：

单击next进入参数配置页面：

接着填写gpu和npu的数据的相关信息，如下图所示：

参数解释如下所示：

Output Path	比对数据结果存放路径
Analysis Mode	精度比对分析模式,本样例选择“NPU vs GPU/CPU”
Framework	本样例选择“TensorFlow”
NPU Dump	NPU上运行生成的dump文件目录
Model File TensorFlow	训练场景选择计算图文件（*.txt），
Ground Truth	原始模型的npy文件目录

点击start：

结果展示：

如上图所示将Vector比对结果界面分为四个区域分别进行介绍。

区域	区域名称	说明
1	菜单栏	从左到右分别为Open…、New Project、Refresh、Help四项功能。Open…为打开并展示比对结果csv文件；New Project为创建新的比对任务；Refresh用于读取并刷新File Manager中管理的文件；单击Help弹出小窗，可展示精度比对工具的使用限制（Restrictions）、使用建议、在线教程链接等。
2	File Manager，历史数据管理	显示用户指定文件夹以及文件夹下生成的整网比对的csv文件以及显示通过Open…单独打开的csv文件；对文件夹和csv，提供历史数据管理功能，包括打开、删除、另存为；在文件夹处右键删除；在空白处右键创建新比对任务（New Task）、刷新（Refresh）和Open…（打开并展示比对结果csv文件）。
3	Model Accuracy Analysis，精度比对分析界面	默认仅显示有结果的算子。可单击列名，进行排序；单击Show Invalid Data，可展示无法比对的数据，各列字段含义请参见下表1。
4	Scatter Diagram，各项算法指标的散点分布图	横坐标表示算子的执行顺序，纵坐标为算法指标在对应Tensor上的实际取值。各字段含义请参见下表2。

表1 精度比对分析界面字段说明

字段	说明
Index	网络模型中算子的ID。
OpSequence	算子运行的序列。全网层信息文件中算子的ID。仅配置“Operator Range”时展示。
NPUDump	表示My Output模型的算子名。光标悬浮时，可显示具体算子所在的文件路径。
DataType	表示My Output侧数据算子的数据类型。
Address	dump tensor的虚拟内存地址。用于判断算子的内存问题。仅基于昇腾AI处理器运行生成的dump数据文件在整网比对时可提取该数据。
GroundTruth	表示Ground Truth模型的算子名。光标悬浮时，可显示具体算子所在的文件路径。
DataType	表示Ground Truth侧数据算子的数据类型。
TensorIndex	表示My Output模型算子的input ID和output ID。

表2 散点分布图字段说明

字段	说明
Algorithm	选择展示对应比对算法结果的散点分布图，不支持展示StandardDeviation、KullbackLeiblerDivergence和AccumulatedRelativeError。
Tensor	过滤显示Input、Output结果散点分布图。
Highlight	对算子Tensor散点进行高亮。通过拖拉游标在对应算法指标的[min,max]间滑动来设置算法指标（纵坐标）的阈值，高于或等于阈值的点显示为蓝色，低于阈值的点显示为红色。如针对余弦相似度，图中设置阈值为0.98，小于0.98的算子Tensor被标记为红色。

六、常见问题 & 解决方案汇总

Q:tfdbg复制pt命令时执行出错

A：由于tfdbg将多行的pt命令识别为了单个命令，使得命令执行失败。解决办法如下：

1. 先退出tfdbg命令行

2. 安装pexpect库，命令为 pip install pexpect --user（--user只针对普通用户，root用户是没有的）

3. 进入resnet所在的目录，cd ~/models/official/resnet

4. 确保目录下有dump.txt文件，即生成的pt命令

5. 编写下述代码，vim auto_run.py

import pexpect

import sys

cmd_line = 'python3 -u ./cifar10_main.py'

tfdbg = pexpect.spawn(cmd_line)

tfdbg.logfile = sys.stdout.buffer

tfdbg.expect('tfdbg>')

tfdbg.sendline('run')

pt_list = []

with open('dump.txt', 'r') as f:

for line in f:

pt_list.append(line.strip('\n'))

for pt in pt_list:

tfdbg.expect('tfdbg>')

tfdbg.sendline(pt)

tfdbg.expect('tfdbg>')

tfdbg.sendline('exit')

6. 保存退出vim，执行python auto_run.py

七、从昇腾官方体验更多内容

更多的疑问和信息可以在昇腾论坛进行讨论和交流：https://bbs.huaweicloud.com/forum/forum-726-1.html

MindStudio模型训练场景精度比对全流程和结果分析相关推荐

使用PaddleX实现车辆检测模型训练到服务化部署落地全流程
★★★ 本文源自AlStudio社区精品项目,[点击此处]查看更多精品内容 >>> 1. 项目背景随着AI技术的快速发展,深度学习技术在各个领域的应用越来越广泛.作为一种革命性的机 ...
一个方案搞定从模型量化到端侧部署全流程
量化的背景得益于海量数据.超强算力和最新技术,深度学习在视觉.自然语言处理等领域都取得了巨大成功.然而,深度学习模型的网络结构越来越复杂.参数越来越多.计算量越来越大,给模型部署应用带来了不小挑战, ...
基于R语言的Meta分析【全流程、不确定性分析】方法与Meta机器学习技术应用
Meta分析是针对某一科研问题,根据明确的搜索策略.选择筛选文献标准.采用严格的评价方法,对来源不同的研究成果进行收集.合并及定量统计分析的方法,最早出现于"循证医学",现已广泛应 ...
熟练掌握R语言的Meta分析全流程和不确定性分析，并结合机器学习等方法讲解Meta分析在文献大数据的延伸应用
Meta分析是针对某一科研问题,根据明确的搜索策略.选择筛选文献标准.采用严格的评价方法,对来源不同的研究成果进行收集.合并及定量统计分析的方法,最早出现于"循证医学",现已广泛应 ...
基于R语言的Meta分析【全流程、不确定性分析】方法与Meta机器学习应用
Meta分析是针对某一科研问题,根据明确的搜索策略.选择筛选文献标准.采用严格的评价方法,对来源不同的研究成果进行收集.合并及定量统计分析的方法,最早出现于"循证医学",现已广泛应 ...
分类模型训练完之后，测试效果极差可能原因分析
在知乎上有这样一个问题: acc很高,但预测正确的样本占比又很低,怎么回事? - 知乎关于这个问题,在这个问题的回答中,有许多大佬从数据的分布.模型的结构.数据集的划分,以及验证指标等层面进行了解答 ...
飞桨OCR打标、训练、预测、部署全流程
注:本文档全部在Windows10环境下操作注:本文档使用的飞桨OCR全景项目代码版本为 release/2.4 查询文档列表: 飞桨OCR官方中文文档:https://github.com/Pad ...
药盒识别/垃圾分类—高精度AI模型训练及边缘部署分享
这是AI应用的时代. 工厂:高速照相机拍下传送带上的零部件,机器识别出有缺陷的零件剔除: 农场:拍摄虫体照片,识别害虫名称和数量并能防控虫害,减少农药使用量,发展绿色农业小区:智能垃圾箱可以基于图像 ...
DeepSpeed超大规模模型训练工具
DeepSpeed超大规模模型训练工具 2021年 2 月份发布了 DeepSpeed.这是一个开源深度学习训练优化库,包含的一个新的显存优化技术-- ZeRO(零冗余优化器),通过扩大规模,提升速度 ...

MindStudio模型训练场景精度比对全流程和结果分析

MindStudio模型训练场景精度比对全流程和结果分析相关推荐

最新文章

热门文章