RK平台之AI模型转换环境搭建

交叉编译环境搭建

软件包安装

$sudo apt-get update
$sudo apt-get install git-core gnupg flex bison gperf \build-essential zip curl zlib1g-dev gcc-multilib \g++-multilib libc6-dev-i386 lib32ncurses5-dev \x11proto-core-dev libx11-dev lib32z1-dev \ccache libgl1-mesa-dev libxml2-utils \xsltproc unzip device-tree-compiler liblz4-tool \libfile-which-perl sed make binutils gcc g++ \bash patch gzip bzip2 perl tar cpio python \unzip rsync file bc libmpc3 git repo texinfo \pkg-config cmake tree texinfo m4 autoconf automake \libncurses5-dev

安装交叉编译工具链

$ sudo tar -xf m1808-sdk-v1.6.0-ga_2021.07.16.tar.gz –C /
$ vim ~/.bashrc
//添加以下命令到用户配置文件
export PATH=/opt/zlg/m1808-sdk-v1.6.0-ga/host/bin:$PATH$ aarch64-linux-gnu-gcc -v

Anaconda离线安装包

下载地址：

https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.2.0-Linux-x86_64.sh （清华开源软件镜像）

在上述地址下载相应的离线安装包Anaconda3-5.2.0-Linux-x86_64.sh，运行。按照提示安装，安装未知可自由选择，本文安装到了/opt/zlg/anaconda。最后选择不安装VSCode。

yanz@yanz-virtual-machine:~$ ./Anaconda3-5.2.0-Linux-x86_64.sh
Welcome to Anaconda3 5.2.0In order to continue the installation process, please review the license
agreement.
Please, press ENTER to continue
>>> Do you accept the license terms? [yes|no]
>>> yesPlease answer 'yes' or 'no':'
>>> yesAnaconda3 will now be installed into this location:
/home/yanz/anaconda3- Press ENTER to confirm the location- Press CTRL-C to abort the installation- Or specify a different location below[/home/yanz/anaconda3] >>> /opt/zlg/anaconda
PREFIX=/opt/zlg/anacondaAnaconda is partnered with Microsoft! Microsoft VSCode is a streamlined
code editor with support for development operations like debugging, task
running and version control.To install Visual Studio Code, you will need:- Administrator Privileges- Internet connectivityVisual Studio Code License: https://code.visualstudio.com/licenseDo you wish to proceed with the installation of Microsoft VSCode? [yes|no]
>>> no

安装anaconda包管理环境后，默认会在shell提示符首部加入当前环境标识’(…)’，这样方便用户知道自己当前处于哪一个工具集环境，比如当前处于’base’环境上下文，所以提示符变成(base) yanz@yanz-virtual-machine

若安装完anaconda后没有激活base包，则执行如下命令激活：

source ~/.bashrc
source activate

修改Anaconda镜像源为清华镜像，创建~/.condarc文件，内容如下：

channels:- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
show_channel_urls: true
ssl_verify: false

或者：

channels:- defaults
show_channel_urls: true
default_channels:- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudmsys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudbioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudmenpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudpytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudsimpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudssl_verify: false

编辑好.condarc后，运行如下命令清除索引缓存，保证用的是镜像站提供的索引。

conda clean -i

更新基础包：

(base) yanz@yanz-virtual-machine:~$ conda update -n base

若遇到以下问题：

CondaValueError: no package names supplied
# If you want to update to a newer version of Anaconda, type:
#
# $ conda update --prefix /opt/zlg/anaconda anaconda

则替换为：

(base) yanz@yanz-virtual-machine:~$ conda update conda

创建相应的工具集环境
在conda中创建的多个环境是可以side-by-side并存的，所以在同一个系统中可以按需求，随时创建配置不同版本的环境，每个环境私有的依赖包都安装在该环境上下文中，公有的依赖包则安装在base中。

(base) yanz@yanz-virtual-machine:~$ conda create -n m1808-env python=3.6

上述命令创建名为m1808-env，python兼容版本是3.6的工具集环境，参数-n指定环境名称。

删除创建的工具集环境
如果一个通过conda create命令创建的环境不再需要了，可以用conda remove命令删除 conda remove -n m1808-env

安装rknn-toolkit工具包
安装rknn-toolkit工具包前，有个要特别注意的细节就是，rknn-toolkit工具包的众多依赖包，分成两部分，一部分可在Anaconda托管的库中找到，另一部分位于Anaconda之外的第三方库，是需要通过pip命令安装，所以在安装之前需要把pip源也设成国内镜像来加速安装，比如设成清华的源：

(base) yanz@yanz-virtual-machine:~$ pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

属于anaconda托管的包，用conda install 安装，非托管的第三方包用pip install 安装。但通常需要批量安装多个依赖包，把所需要包列在一个需求清单文件中，通过conda install --file <conda-requiments.txt> 或 pip install -r <pip-requirments.txt>批量安装。
以下介绍安装rknn_toolkit-1.3.0版本以及rknn_toolkit-1.6.0版本步骤：
1、安装rknn_toolkit-1.3.0
下面给出安装rknn-toolkit-1.3.0所需依赖包的两个清单文件内容：
conda-rknn_toolkit-1.3.0-requirements.txt清单

_libgcc_mutex=0.1=main
_mutex_mxnet=0.0.40=mkl
_tflow_select=2.3.0=mkl
absl-py=0.9.0=py36_0
asn1crypto=1.3.0=py36_0
astor=0.8.0=py36_0
backports=1.0=py_2
backports.weakref=1.0rc1=py36_0
blas=1.0=mkl
bleach=1.5.0=py36_0
blinker=1.4=py36_0
bzip2=1.0.8=h7b6447c_0
c-ares=1.15.0=h7b6447c_1001
ca-certificates=2020.1.1=0
cachetools=3.1.1=py_0
cairo=1.14.12=h8948797_3
certifi=2020.4.5.1=py36_0
cffi=1.14.0=py36h2e261b9_0
chardet=3.0.4=py36_1003
click=7.1.1=py_0
cryptography=2.8=py36h1ba5d50_0
decorator=4.4.2=py_0
ffmpeg=4.0=hcdf2ecd_0
fontconfig=2.13.0=h9420a91_0
freeglut=3.0.0=hf484d3e_5
freetype=2.9.1=h8a8886c_1
gast=0.2.2=py36_0
glib=2.63.1=h5a9c865_0
google-auth=1.13.1=py_0
google-auth-oauthlib=0.4.1=py_2
google-pasta=0.2.0=py_0
graphite2=1.3.13=h23475e2_0
grpcio=1.27.2=py36hf8bcb03_0
h5py=2.8.0=py36h989c5e5_3
harfbuzz=1.8.8=hffaf4a1_0
hdf5=1.10.2=hba1933b_1
html5lib=0.9999999=py36_0
icu=58.2=he6710b0_3
intel-openmp=2019.4=243
itsdangerous=1.1.0=py36_0
jasper=2.0.14=h07fcdf6_1
jinja2=2.11.2=py_0
jpeg=9b=h024ee3a_2
keras-applications=1.0.8=py_0
keras-preprocessing=1.1.0=py_1
ld_impl_linux-64=2.33.1=h53a641e_7
libedit=3.1.20181209=hc058e9b_0
libffi=3.2.1=hd88cf55_4
libgcc-ng=9.1.0=hdf63c60_0
libgfortran-ng=7.3.0=hdf63c60_0
libglu=9.0.0=hf484d3e_1
libmklml=2019.0.5=0
libmxnet=1.5.0=mkl_hfe83b78_0
libopencv=3.4.2=hb342d67_1
libopus=1.3.1=h7b6447c_0
libpng=1.6.37=hbc83047_0
libprotobuf=3.6.1=hd408876_0
libstdcxx-ng=9.1.0=hdf63c60_0
libtiff=4.1.0=h2733197_0
libuuid=1.0.3=h1bed415_2
libvpx=1.7.0=h439df22_0
libxcb=1.13=h1bed415_1
libxml2=2.9.9=hea5a465_1
markdown=3.1.1=py36_0
markupsafe=1.1.1=py36h7b6447c_0
mkl=2020.0=166
mkl-dnn=0.19=hfd86e86_1
mkl-service=2.3.0=py36he904b0f_0
mkl_fft=1.0.15=py36ha843d7b_0
mkl_random=1.1.0=py36hd6b4f25_0
mxnet=1.5.0=hea8a0af_0
ncurses=6.2=he6710b0_1
numpy=1.16.3=py36h7e9f1db_0
numpy-base=1.16.3=py36hde5b4d6_0
oauthlib=3.1.0=py_0
olefile=0.46=py36_0
openssl=1.1.1g=h7b6447c_0
opt_einsum=3.1.0=py_0
pcre=8.43=he6710b0_0
pip=20.0.2=py36_1
pixman=0.38.0=h7b6447c_0
protobuf=3.6.1=py36he6710b0_0
py-mxnet=1.5.0=py36hc738527_0
pyasn1=0.4.8=py_0
pyasn1-modules=0.2.7=py_0
pycparser=2.20=py_0
pyjwt=1.7.1=py36_0
pyopenssl=19.1.0=py36_0
pysocks=1.7.1=py36_0
python=3.6.10=hcf32534_1
readline=8.0=h7b6447c_0
requests-oauthlib=1.3.0=py_0
rsa=4.0=py_0
scipy=1.3.0=py36h7c811a0_0
setuptools=46.1.3=py36_0
six=1.14.0=py36_0
sqlite=3.31.1=h62c20be_1
tensorboard=1.12.2=py36he6710b0_0
tensorflow=1.12.0=mkl_py36h69b6ba0_0
tensorflow-base=1.12.0=mkl_py36h3c3e929_0
termcolor=1.1.0=py36_1
tk=8.6.8=hbc83047_0
urllib3=1.25.8=py36_0
werkzeug=1.0.1=py_0
wheel=0.34.2=py36_0
wrapt=1.12.1=py36h7b6447c_1
xz=5.2.5=h7b6447c_0
zlib=1.2.11=h7b6447c_3
zstd=1.3.7=h0b5b093_0

pip-rknn_toolkit-1.3.0-requirements.txt清单

dill==0.2.8.2
flask==1.0.2
flatbuffers==1.10
idna==2.8
lmdb==0.93
networkx==1.11
onnx==1.4.1
onnx-tf==1.2.1
pillow==5.3.0
ply==3.11
psutil==5.6.2
pyyaml==5.3.1
requests==2.22.0
ruamel-yaml==0.15.81
typing==3.7.4.1
typing-extensions==3.7.4.2

先把依赖包都装上，注意要装到先前创建的m1808-env环境：

(base) zlgmcu@m1808-devel:~$ conda activate m1808-env
(m1808-env) zlgmcu@m1808-devel:~$ pip install -r pip-rknn_toolkit-1.3.0-requirements.txt
...
(m1808-env) zlgmcu@m1808-devel:~$ conda install --file conda-rknn_toolkit-1.3.0-requirements.txt
...

再安装rknn-toolkit-1.3.0工具包，选择文件”rknn_toolkit-1.3.0-cp36-cp36m-linux_x86_64.whl”:

(m1808-env) zlgmcu@m1808-devel:~$ pip install rknn_toolkit-1.3.0-cp36-cp36m-linux_x86_64.whl

文件”rknn_toolkit-1.3.0-cp36-cp36m-linux_x86_64.whl”可在光盘资料中找到。
2、安装rknn_toolkit-1.6.0
先把依赖包都装上，注意要装到先前创建的m1808-env环境：

(base) zlgmcu@M1808-devel:~$ conda activate M1808-env
# 如果要使用 TensorFlow GPU 版本，请执行以下命令
(M1808-env) zlgmcu@M1808-devel:~$ pip install tensorflow-gpu==1.11.0
# 如果要使用 TensorFlow CPU 版本，请执行以下命令
(M1808-env) zlgmcu@M1808-devel:~$ pip install tensorflow==1.11.0
# 执行以下命令安装 pytorch 和 torchvision
(M1808-env) zlgmcu@M1808-devel:~$ pip3 install torch==1.5.1 torchvision==0.4.0
# 执行以下命令安装 mxnet
(M1808-env) zlgmcu@M1808-devel:~$ pip3 install mxnet==1.5.0
# 执行以下命令安装 opencv-python
(M1808-env) zlgmcu@M1808-devel:~$ pip install opencv-python

再安装rknn-toolkit-1.6.0工具包，选择文件”rknn_toolkit-1.6.0-cp36-cp36m-linux_x86_64.whl”:

(m1808-env) zlgmcu@m1808-devel:~$ pip install rknn_toolkit-1.6.0-cp36-cp36m-linux_x86_64.whl

文件”rknn_toolkit-1.6.0-cp36-cp36m-linux_x86_64.whl”可在光盘资料中找到。

检查rknn-toolkit是否安装成功:

(m1808-env) zlgmcu@m1808-devel:~$ python3
>>>from rknn.api import RKNN
>>>

若没有出现任何报错，则安装成功。
注意，可能出现以下的WARING，是显示里面依赖的库在未来的接口会有变更，目前仍可以正常使用！