我参加NVIDIA Sky Hackathon（系统环境配置）
以下内容是本组成员在参赛流程以及遇到的问题的解决方案，仅供参考。电脑型号为华硕天选3 i5
一、获取NGC密钥
1、
创建NGC账号
（1）、登录 https://ngc.nvidia.com 会直接出现 CATALOG画面，请点击下图右上角 ”Welcome Guest”，然后点选下方 ”Sing in/Sing Up”
（2）、“登陆”或“创建一个账户”的画面，然后按照标准开帐户的流程执行就可以。
2、
获取NGC密钥：
（1）、登陆NGC。在下拉菜单中选择 ”setup” 选项进入下面选项后，点击 ”Get API Key”。
（2、）在下面点击右上角”Generate API KEY”会跳出“确认”，点击”confirm”就可以
注意：生成的这组密钥在整个训练过程以及最后推理时都需要用到，非常关键，保存在容易找到的地方，我们当时就是到后面忘记密钥保存在哪儿了。
二、下载与安装语音与视觉训练用的脚本(Nemo与TAO)
三、安装x86的NVIDIA GPU模型训练与优化环境
系统配置：x86 CPU + NVIDIA GPU + Ubuntu 18.04以上
注意:关于ubuntu的安装，一开始我们的U盘质量太差，存有问题，所以装上18.04后一直黑屏。
关于版本的安装，我们所用电脑是华硕天选3——18.04的版本可能读取不到U盘，会出现如下情况：
20.04的问题是装的很顺利，但后续问题很多，当我们试到22.04的时候就很成功了。
四、安装NVIDIA驱动460以上版本
|
$ $ $ $ |
sudo apt-get install software-properties-common sudo add-apt-repository ppa:graphics-drivers/ppa sudo apt-get install nvidia-driver-460 sudo reboot # 重启之后才会生效，重启后执行 nvidia-smi 检查驱动 |
注意：在这里我们一开始打算装的是515，因为版本太新，所以换成了510。
五、安装 docker与nvidia-docker2
出现以上结果，则表示安装完成。
六、登录NGC
注意：此时需要上面说到的密钥，不要复制密钥，电脑可能会把你的大写字母改成小写，最好自己一个一个输。
七、安装 MiniConda3
|
$ $ $ $ $ |
# 用国内清华源 export DL_SITE=https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda # 用原厂的源 export DL_SITE=https://repo.anaconda.com/miniconda # 下载安装包 wget -c $DL_SITE/Miniconda3-py38_4.10.3-Linux-x86_64.sh # 执行安装，全部按照预设路径与”yes”选项 bash Miniconda3-py38_4.10.3-Linux-x86_64.sh # 启动 Conda source ~/.bashrc |
八、安装 Jupyter Lab
|
$ $ $ |
pip install jupyter jupyterlab # 设置登录密码 export PW=’自行提供‘ python3 -c "from notebook.auth.security import set_password; set_password('$PW','$HOME/.jupyter/jupyter_notebook_config.json')" |
注意：安装Jupyterlab时，# 设置登录密码，export PW=’自行提供’,这个地方要把中文的单引号改成英文单引号。
注意：安装前需要先启动Jupyter的指令.
|
$ |
jupyter lab --ip 0.0.0.0 --port 8888 --allow-root |
安装NeMo 1.4.0
(1)、安装Pytorch
通过pip安装GPU版本Pytorch参考链接Previous PyTorch Versions | PyTorch
Pytorch1.12.1版本则安装指令如下：
$ pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113
（2）、创建conda环境python3.6:
注意：我们之前安装的是python3.8版本，不过到后面训练的时候有点麻烦，所以后来重新配置的时候装的是python3.6
conda create --name yourname python=3.6
（3）、nemo环境安装
pip换源
pip config set global.index-url Simple Index
nemo安装
sudo apt-get update && sudo apt-get install -y libsndfile1 ffmpeg
pip install Cython
pip install --user pytest-runner
pip install rosa numpy==1.19.4
pip install torchmetrics==0.6.0
pip install nemo_toolkit[all]==1.4.0(输入这条命令时，出现报错，先pip install cmake,直接成功，在执行)
pip install ASR-metrics
检测 Nemo
python
>>>import nemo
>>>import nemo.collections.asr as nemo_asr
>>>import nemo.collections.tts as nemo_tts
若没有报错表示安装成功（waring 不用理会）
安装TAO 模型训练优化工具：用Python与Virtualenv
安装virtualenv虚拟环境：
|
$ $ $ $ |
pip install virtualenv virtualenvwrapper # 创建目录用来存放虚拟环境 mkdir $HOME/.virtualenvs # 在~/.bashrc中添加行： export WORKON_HOME=$HOME/.virtualenvs export VIRTUALENVWRAPPER_PYTHON=$HOME/miniconda3/bin/python3 source $HOME/miniconda3/bin/virtualenvwrapper.sh # 保存并退出 source ~/.bashrc # 创建名为”tao”的 Virtualenv mkvirtualenv tao -p $HOME/miniconda3/bin/python3 |
2.安装TAO模型训练工具：
|
$ $ $ $ |
# 确认在 ”tao” 的 Virtualenv 环境下，如果不在的话就执行以下指令 workon tao # 安装nvidia-pyindex与nvidia-tao pip3 install nvidia-pyindex pip3 install nvidia-tao # 检查安装 tao info |
3.启动TAO模型训练工具Jupyter交互界面：
|
$ $ |
# 启动名为 “tao” 的virtualenv workon tao # 进入工作目录并启动 Jupyter Lab cd ~/hackathon && jupyter lab --ip 0.0.0.0 --port 8888 --allow-root |
输入您先前设置的密码就能进去，进入Jupyter Lab之后是以~/hackathon为根目录。
注意：在这步时我们没能打开jupyter，这时候在终端输入：conda activate aotm
再执行。
成功打开！
我参加NVIDIA Sky Hackathon（系统环境配置）相关推荐
- 【我参加NVIDIA Sky Hackathon】感悟篇
我们团队来自陕西省咸阳市咸阳师范学院,在本次比赛中我们认识到了与其他人的差距,我们最终获得了第14名的成绩,对于我们来说是第一次参加NVIDIA Sky Hackathon的比赛,这次算是一次积累经验 ...
- 我参加 NVIDIA Sky Hackathon——有关ASR模型相关简述
2022年10月29日 团队报名了第七届NVIDIA SKy Hackathon大赛并于2022年11月28日成功完赛 本次系列比赛为团队第二次参加,在有了一定经验的情况下,本次团队也取得了一定的成绩 ...
- [我参加NVIDIA Sky Hackathon] 训练模型安装
1 获取 NGC 秘钥 1. 创建 NGC 账号:这个帐号与 NVIDIA Developer 账号是独立的,需要单独申请.如果已 经有 NGC 帐号的,请跳过下面申请的流程,直接到第 2 步&qu ...
- [我参加NVIDIA Sky Hackathon]（模型训练yolo系列）
由于NVIDIA在CV APPLICATIONS->Object Detection提供了yolov3和yolov4的模型配置及训练部署教程,并且yolov4相对于yolov3性能较好,所以选择 ...
- 我参加NVIDIA Sky Hackathon 环境安装（编程环境）
强烈建议使用conda 第一个坑: 不使用 conda 进行 Python 环境管理 直接使用本地的 Python 环境容易导致混乱 conda 安装 指定下载源 export DL_SITE=htt ...
- 我参加NVIDIA Sky Hackathon 训练文件的路径设置
各变量的作用 KEY 对应的是 NVIDIA ngc 的那个网站上面生成的那个 key GPU 的索引, 这个一般不需要修改, 因为大家只有一块 GPU 用户实验目录, 这个文件夹用于存放后续过程产生 ...
- 【我参加NVIDIA Sky Hackathon】ASR篇
项目说明:通过NVIDIA公司提供的Tao来训练模型,做出一个语音识别和图像识别垃圾的模型 在ASR数据集中,为了使得模型训练效果更明显,我们在数据搜集的过程中,邀请了不同年龄段的人来进行语音的录制, ...
- 【我参加NVIDIA Sky Hackathon】CV篇
项目说明:以"挑战智能语音垃圾分类任务"为主题.内容涵盖:语音识别.垃圾检测及用户接口的web页面实现等.项目流程包括:(注:图片来源于NVIDIA针对于本次比赛的培训PPT) 在 ...
- [我参加NVIDIA Sky Hackathon]（模型训练ssd系列）
一.ssd-resnet18 比赛默认提供的目标检测模型是ssd,backbone是resnet18,默认训练80批次,部分训练参数及结果如下图1. max map 0.842885663719817 ...
最新文章
- k8s service type_k8s重器之Service
- Spring系列之Spring常用注解总结
- 关闭Outlook自动完成功能
- pytorch C++部署模型 ONNX tensorRT
- 上海交通大学计算机专业有调剂吗,上海交通大学2019计算机系考研调剂信息
- JS类库——Image
- 【资源共享】Rockchip I2C 开发指南 V1.0
- PopupWindow正确使用方式
- Python json.dumps() 自动缩进
- [WPF] 动画Completed事件里获取执行该动画的UI对象
- 关卡二：Flex伸缩布局
- Python爬取有道词典
- 山东理工大学acm非专业程序设计基础答案
- visio 如何让箭头完全水平？
- 拼多多根据ID取商品详情-API
- iOS — 百度地图 使用
- （BAT批处理）批量文件夹重命名，要求是在原文件夹名前加上英文字母前缀aa
- Linux 驱动开发 四十四：platform 设备驱动实验（二）
- 基于深度学习的命名实体识别研究综述——论文研读
- 修改yolov5的输入图像尺寸为指定尺寸