SE5_基于YOLO3D的目标检测算法移植与测试
本文档适用于SOPHGO(算能)BM1684-SE5及对应通用云开发空间,主要内容:
注意:由于SOPHGO SE5微服务器的CPU是基于ARM架构,部分步骤将在基于x86架构CPU的开发环境中完成
- 初始化开发环境(基于x86架构CPU的开发环境中完成)
- YOLO3D目标检测算法
- 模型转换 (基于x86架构CPU的开发环境中完成)
- YOLO3D模型推理测试(处理后的YOLO3D项目文件将被拷贝至SOPHGO SE5微服务器上推理测试)
1. 初始化开发环境 (基于x86架构CPU的开发环境中完成)
1.1 初始化开发环境
(若wget后的地址不可用,请前往算能官网下载Docker镜像及SDK)
# 切换成 root 权限
sudo -i# 下载Docker镜像
wget https://sophon-file.sophon.cn/sophon-prod-s3/drive/22/07/19/10/x86_sophonsdk_ubuntu18.04_py37_dev_22.06_docker.zip# 确保环境安装unzip后解压
unzip x86_sophonsdk3_ubuntu18.04_py37_dev_22.06_docker.zip# 进入文件夹并加载Docker镜像
cd x86_sophonsdk3_ubuntu18.04_py37_dev_22.06_docker
docker load -i x86_sophonsdk3_ubuntu18.04_py37_dev_22.06.docker# 下载SOPHON SDK3.0.0
wget https://sophon-file.sophon.cn/sophon-prod-s3/drive/22/07/18/11/
sophonsdk_v3.0.0_20220716.zipunzip sophonsdk_v3.0.0_20220716.zip
cd sophonsdk_v3.0.0_# 通过脚本文件创建并进入Docker容器
# 若您没有执行前述关于docker命令免root执行的配置操作,需在命令前添加sudo
./docker_run_sophonsdk.sh
1.2 配置Docker容器开发环境
以下步骤均在Docker容器中进行:
1. 安装nntc以及配置环境变量
cd /workspace/scripts/
./install_lib.sh nntc
# 设置环境变量-[有PCIe加速卡]
source envsetup_pcie.sh
# 设置环境变量-[无PCIe加速卡]
source envsetup_cmodel.sh
导出的环境变量只对当前终端有效,每次进入容器都需要重新执行一遍,或者可以将这些环境变量写入~/.bashrc,这样每次登录将会自动设置环境变量
2. YOLO3D目标检测算法
文档:https://ruhyadi.github.io/project/computer-vision/yolo3d/
代码仓库链接:https://github.com/ruhyadi/YOLO3D](https://github.com/ultralytics/yolo3D
2.1 功能介绍
- 3D目标检测:给定图片和相机参数,检测图片中车辆、行人3D检测框,并将检测框显示在图片上返回。
2.2 应用场景
- 自动驾驶:车辆、行人的3D目标检测是自动驾驶感知算法的重要模块。自动驾驶系统依靠检测出的目标实现自主躲避障碍物、路径规划等功能。
2.3 特色优势
- 只需输入单张图片和对应的相机参数就能完成车辆、行人的3D检测,无需输入点云等其他模态数据。
- YOLO3D基于YOLOV5检测网络和ResNet网络回归,目前算能芯片对以上模型推理效果均有优化,推理速度快;另外工具链对以上模型都有完整支持,部署简单快捷。
3. Demo文件准备 (基于x86架构CPU的开发环境中完成)
3.1 准备模型与数据
3.1.1 Demo及相关文件准备
# 下载Demo及所需BModel
git clone https://github.com/sophgo/sophpi-shaolin
cd YOLO3D/data/models
pip3 install dfn
python3 -m dfn --url http://219.142.246.77:65000/sharing/2jQr4iVEx
python3 -m dfn --url http://219.142.246.77:65000/sharing/NkaQm47he
3.1.2 查看FP32 BModel的信息
命令:bm_model.bin --info xxxx.bmodel
# 查看模型信息
cd YOLO3D/data/models/
bm_model.bin --info resnet18.bmodel
bm_model.bin --info yolov5s.bmodel
resnet18.bmodel输出:
yolov5s.bmodel输出:
4. YOLO3D模型部署测试(主要在SOPHGO SE5或云空间上进行)
4.1 SE5环境搭建及示例程序准备
将在处理好的YOLO3D项目文件,压缩后拷贝至SE5微服务器上:
scp -r /YOLO3D username@<SE5_IP>:<filepath>
或通过云空间文件系统拷贝:
打开云空间文件系统:
上传文件:
文件会被存储在服务器的 /tmp 目录下
对于SoC模式,内部已经集成了相应的SDK运行库包,位于/system目录下,只需设置环境变量即可。
# 设置环境变量
export PATH=$PATH:/system/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/system/lib/:/system/usr/lib/aarch64-linux-gnu
export PYTHONPATH=$PYTHONPATH:/system/lib
测试样例图片为YOLO3D源码中的测试图片,可自行选用测试图片
4.2 Python例程部署测试
Python代码无需编译,对于SE5微服务器,可直接运行。
首先需要将PCIe云空间sdk中的sail库文件拷贝至SE5云空间,具体步骤如下:
在PCIe云空间中
cp -r /home/sophgo/bmnnsdk2-bm1684_v2.7.0/lib/sail/python3/soc/py37/sophon /tmp
再通过云空间文件系统从PCIe下载`sophon`并上传至SE5,然后替换SE5源目录/system/lib/sophon。
mv /system/lib/sophon /system/lib/sophon.bak
mv /tmp/sophon /system/lib/sophon
测试步骤如下:
cd /python
python3 yolo3d.py
部分输出:
测试结果:
# 将输出图片复制到云空间文件系统
cp result/output_demo1.jpg /tmp/
在云空间文件系统处将图片下载至本地查看:
5. 相关链接
样例开源仓库:https://github.com/sophon-ai-algo/examples
BM1684 BMNNSDK文档:https://developer.sophgo.com/site/index/document/6/all.html
编译工具用户开发手册: https://doc.sophgo.com/docs/2.7.0/docs_latest_release/nntc/html/index.html
量化工具用户开发手册: https://doc.sophgo.com/docs/2.7.0/docs_latest_release/calibration-tools/html/index.html
算能量化工具介绍及使用说明:https://www.bilibili.com/video/BV1DA4y1S75p?spm_id_from=333.999.0
官网视频教程:https://developer.sophgo.com/site/index/course/all/all.html
官网文档中心:https://developer.sophgo.com/site/index/document/all/all.html
官网下载中心:https://developer.sophgo.com/site/index/material/all/all.html
官网论坛:https://developer.sophgo.com/forum/view/43.html
SE5_基于YOLO3D的目标检测算法移植与测试相关推荐
- PCIE_基于YOLO3D的目标检测算法移植与测试
本文档适用于SOPHGO(算能)BM1684-PCIE及对应通用云开发空间,主要内容: SOPHGO(算能)云平台环境搭建 YOLO3D目标检测算法 Demo文件准备 部署和测试 相关链接 1. SO ...
- 基于anchor-free的目标检测算法CenterNet研究
2020.04.18 小记 近期一直在MOT算法研究,目前SOTA算法核心还是基于CenterTrack网络,而CenterTrack又是基于anchor-free式的CenterNet网络,Cent ...
- 目标检测第三篇:基于SSD的目标检测算法
文章目录 SSD简介 网络搭建 卷积块 下采样块 主干网 多层特征提起层 输出头 数据处理 形成训练TXT Dataset DataLoader Anchors 生成先验框 匹配先验框 位置 offs ...
- 基于LPRNet的车牌识别算法移植与测试
课程全程将在[SOPHGO(算能)云平台上进行. 本次课程将介绍: (1)SOPHGO(算能)云平台环境搭建 (2)LPRNet算法 (3)通过BMNNSDK 2.7.0进行LPRNet模型转换和量化 ...
- 基于PP-OCR的文字识别算法移植与测试
课程全程将在SOPHGO(算能)云平台上进行. 本次课程将介绍: 1. SOPHGO(算能)云平台环境搭建 2. PP-OCR的文字识别算法 3. 通过BMNNSDK进行PP-OCR模型转换和量化 4 ...
- 基于MiDas的深度估计算法移植与测试
课程全程将在SOPHGO(算能)云平台上进行. 本次课程将介绍: SOPHGO(算能)PCIE 云平台环境搭建 MiDas的深度估计算法 通过BMNNSDK进行MiDas模型转换 实现算法的移植 部署 ...
- 病虫害模型算法_基于深度学习的目标检测算法综述
sigai 基于深度学习的目标检测算法综述 导言 目标检测的任务是找出图像中所有感兴趣的目标(物体),确定它们的位置和大小,是机器视觉领域的核心问题之一.由于各类物体有不同的外观,形状,姿态,加上成像 ...
- AI综述专栏 | 基于深度学习的目标检测算法综述
https://www.toutiao.com/a6685618909275488780/ 2019-04-30 17:35:53 关注微信公众号:人工智能前沿讲习, 重磅干货,第一时间送达 AI综述 ...
- 基于python的HOG+SVM目标检测算法实现
目录 一.场景需求解读 二.HOG算法简介 三.SVM算法简介 四.基于HOG的目标检测算法训练流程 五.目标检测代码实现 六.非极大值抑制(NMS)简介及代码实现 七.NMS效果展示与分析 八.思维 ...
最新文章
- 独家 | 6大角度击破数据科学面试套路!助你找到理想工作
- 页面引用CSS和Javascript时,内联和外置的区别
- 借助JVM生日的时机,说说关于JVM你所不知道的那些事
- java 更新对象_java通过key-list和对应value更新当前对象
- 开发人员必读的11本最具影响力书籍
- sql where子查询5中字句的使用顺序
- Intel Hex概述
- c语言位运算+乘法,关于c语言中的位运算。。。
- qq浏览器翻译功能启用划词插件教程
- 实用常识 | 将桌面文件移动到其他硬盘内
- Windows Server 2008 R2 搭建FTP服务
- 将Hibernate中的枚举转换为自定义数值
- c 计算机操作步进器,雷赛_数字步进电机与驱动器_DM2C-RS556型号
- 15个磁性材料相关概念解释(基础版)
- 台式计算机开机不自检不起动,台式机开机不自检怎么办
- Mac idea 替换快捷键
- 基于生物特征信息的身份识别(指纹、面部识别的方式和原理)的使用问题的思考
- 创品牌强农精品培育消费引领 国稻种芯百团计划行动发布
- Neural Approaches to Conversational AI
- 校园宽带客户端认证程序无法继续初始化绑定通信接口网络地址失败_解决办法
热门文章
- 抖快推出流媒体音乐平台 会改变在线音乐市场格局吗?
- python与pdf与word(datawhale组队学习task3)
- 设置按峰值带宽计费_邻道功率比(ACPR)和占用带宽(OBW)
- Vue系统指令(一)
- 亿赛通携手湖北省勘察设计协会 共建数据安全
- 为什么读mba,读mba有用吗?
- visual sourcesafe 的下载,vss2005管理vs2010项目,安装方法,配置及用法教程
- 复现计算机论文模型,深度学习模型复现难?看看这篇句子对模型的复现论文
- 母牛问题c语言程序,C语言-母牛和兔子的问题
- 计算机病毒攻击战是指将什么病毒,计算机病毒攻击战是指将( )植入敌方计算机系统,删除其数据,瘫痪其系统。...