深度学习-基础镜像发布系列

前期准备-安装 docker

Ubuntu Docker 安装——深度学习环境预备_Eddy_zheng的博客-CSDN博客

1、pytorch 基础镜像-torch-1.10.0-cuda11.3-cudnn8

从阿里源镜像仓库获取镜像直接使用，速度较快

docker pull registry.cn-hangzhou.aliyuncs.com/hanran/ai-images:1.10.0-cuda11.3-cudnn8-devel

启动 pytorch 镜像

# `pwd`/project 映射当前工作目录下的 project文件夹到容器内部 /workspace/project
# 注意没有配置 nvidia-runtime 的同学需要使用 nvidia-docker run .....
docker run -it --rm --shm-size 32G -v `pwd`/project:/workspace/project registry.cn-hangzhou.aliyuncs.com/hanran/ai-images:1.10.0-cuda11.3-cudnn8-devel /bin/bash

2、基于基础镜像构建自己的镜像：示例构建 fairseq 运行环境

本地编辑 fairseq-torch1-10.Dockerfile 文件
环境中安装了 NVIDIA apex，训练seq2seq 模型速率会大大提升

From registry.cn-hangzhou.aliyuncs.com/hanran/ai-images:1.10.0-cuda11.3-cudnn8-devel# 中文问题
ENV LANG=C.UTF-8 LC_ALL=C.UTF-8# 东八区问题
ENV TZ=Asia/Shanghai
RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && echo $TZ > /etc/timezone# apt修改阿里源
RUN sed -i 's/security.ubuntu.com/mirrors.aliyun.com/g' /etc/apt/sources.list \&& sed -i 's/archive.ubuntu.com/mirrors.aliyun.com/g' /etc/apt/sources.list# 安装基础软件: seq2seq
RUN apt-get update \&& apt-get install -y wget git g++ vim \&& rm -rf /var/lib/apt/lists/* \&& pip3 config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple \&& pip3 install hydra-core omegaconf fastBPE sacremoses subword_nmt fairseq pyarrow \&& git clone https://github.com/NVIDIA/apex \&& cd apex \&& pip3 install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" \--global-option="--deprecated_fused_adam" --global-option="--xentropy" \--global-option="--fast_multihead_attn" ./WORKDIR /workspace/project/
CMD [ "/bin/bash" ]

构建指令

# 注意构建指令最后的 . 不能省略(构建过程有编译，时间会比较久，耐心等待)
docker build -t ai-images-fairseq-torch-v1.10:latest -f fairseq-torch1-10.Dockerfile .
# 构建完成后启动镜像
docker run -it --rm --shm-size 32G -v `pwd`/project:/workspace/project ai-images-fairseq-torch-v1.10:latest /bin/bash

PS: 想直接使用成功构建完成的镜像的同学，直接拉取

docker pull registry.cn-hangzhou.aliyuncs.com/hanran/ai-images:fairseq-torch1.10

深度学习-基础镜像发布系列相关推荐

资源 | Intel发布AI免费系列课程3部曲：机器学习基础、深度学习基础以及TensorFlow基础
翻译 | AI科技大本营(公众号ID:rgznai100) 校对 | 成龙编辑 | 明明 Intel于近期发布了三门AI系列的免费课程,分别是关于机器学习基础.深度学习基础.TensorFlow基础 ...
《机器学习系列教程》第三章深度学习基础
@[第三章深度学习基础] 第三章深度学习基础 3.1 基本概念 3.1.1 神经网络组成? 为了描述神经网络,我们先从最简单的神经网络说起. 感知机简单的感知机如下图所示: [外链图片转存失败( ...
Python深度学习（一）深度学习基础
翻译自Deep Learning With Python(2018) 第一章深度学习基础:https://www.jianshu.com/p/6c08f4ceab4c 第二章深度学习的数学构建模块 ...
独家思维导图！让你秒懂李宏毅2020深度学习（三）——深度学习基础（神经网络和反向传播部分）
独家思维导图!让你秒懂李宏毅2020深度学习(三)--深度学习基础(神经网络和反向传播部分) 长文预警!!!前面两篇文章主要介绍了李宏毅视频中的机器学习部分,从这篇文章开始,我将介绍李宏毅视频中的深度 ...
深度学习基础篇（一）
深度学习基础篇(一) Part I 深度学习基础本书1-4章将带你了解一些基本概念:什么是深度学习,它可以用来做什么以及它如何工作.此外,熟悉使用深度学习解决数据问题的典型工作流程.如果还没怎么了解 ...
深度学习基础(基本概念、优化算法、初始化、正则化等)
2020-04-25 16:29:09 引言深度学习目前已成为发展最快.最令人兴奋的机器学习领域之一,许多卓有建树的论文已经发表,而且已有很多高质量的开源深度学习框架可供使用.然而,论文通常非常简明 ...
【完结】有三AI阿里云的深度学习基础课程暂时完结，欢迎扩散学习
2021年3月份有三AI与阿里天池联合推出了深度学习系列课程, 课程内容包括人工智能与深度学习发展背景,深度学习典型应用,卷积神经网络,循环神经网络,生成对抗网络,深度学习开源框架等内容,目前已经基本 ...
人工智能 - paddlepaddle飞桨 - 深度学习基础教程 - 个性化推荐
人工智能 - paddlepaddle飞桨 - 深度学习基础教程 - 个性化推荐本教程源代码目录在book/recommender_system,初次使用请您参考Book文档使用说明. 说明: 硬件 ...
Deep learning with python notebooks 笔记第一章深度学习基础
第一章深度学习基础好的图表比文字传达的信息量多图1-1帮助理清了人工智能.机器学习和深度学习之间的关系. 图1-2 清晰的阐述了经典程序设计范式和机器学习一种新的编程范式的不同.两种范式引出了两 ...

深度学习-基础镜像发布系列

前期准备-安装 docker

1、pytorch 基础镜像-torch-1.10.0-cuda11.3-cudnn8

2、基于基础镜像构建自己的镜像：示例构建 fairseq 运行环境

深度学习-基础镜像发布系列相关推荐

最新文章

热门文章

深度学习-基础镜像发布系列

前期准备-安装 docker

1、pytorch 基础镜像-torch-1.10.0-cuda11.3-cudnn8

2、基于基础镜像构建自己的镜像： 示例构建 fairseq 运行环境

深度学习-基础镜像发布系列相关推荐

最新文章

热门文章

2、基于基础镜像构建自己的镜像：示例构建 fairseq 运行环境