linux pandas教程_竞赛中的Docker使用教程

1 Docker 简介

Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的Linux或Windows机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。

2 容器化的需要和意义

无法保证生产环境的操作系统以及底层库的版本Centos、Ubuntu、Debian、Fedora；gcc、glibc、gfortran
一台服务器上部署多个项目，依赖不同的包，甚至python版本numpy、scipy、pandas、scikit-learn、tensorflow、keras；python2.7/3.5/3.6 pyenv并不能做到完全的隔离
开发环境在做批处理，但生产环境很多都是流处理
- 开发：用numpy读入一个文件，处理完成之后写结果
- 生产：请在**ms内返回结果

现在越来越多的比赛在初赛或复赛的时候也是需要提交docker镜像，所以这里我以AMAP-TEAD比赛为例，做一个docker在比赛中的使用教程，比赛链接如下

https://tianchi.aliyun.com/competition/entrance/531809/introduction

3 docker&&nvidia-docker的安装及设置(Ubuntu18.04)

3.1 安装

  # 新apt包的索引  sudo apt-get update   #添加Docker仓库到apt  sudo apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common  #添加Docker的官方GPG key  curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -  sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"  #安装docker-ce  sudo apt-get update  sudo apt-get install docker-ce

  #安装nvidia-docker  curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -  distribution=$(. /etc/os-release;echo $ID$VERSION_ID)  curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list |sudo tee /etc/apt/sources.list.d/nvidia-docker.list  sudo apt-get update  sudo apt-get install -y nvidia-docker2  sudo pkill -SIGHUP dockerd

3.2 设置

给用户配置docker权限

  sudo groupadd docker  sudo gpasswd -a ailight(user) docker  newgrp docker

修改镜像和容器的保存路径

4 阿里云镜像服务

https://tianchi.aliyun.com/competition/entrance/231759/tab/174

按操作流程开通我们所做比赛的镜像仓库，成功后如图

5 Docker操作(只展示可能常用到的)

示例：

指定容器内目录与宿主机目录共享(: 之前是宿主机文件夹，之后是容器需共享的文件夹)(联网)

  docker run -itd --net host imagename /bin/bash

Docker访问容器

docker exec -it CONTAINER /bin/bash

导出镜像到文件&&导入镜像文件

docker save $DOCKER_IMAGE > $filenamedocker load

5 制作比赛镜像以及提交

5.1 基础镜像的查找和下载

pytorch1.6.0+py38+cuda10.2

  docker pull wangkenpu/pytorch1.6.0-hvd-apex-py38-cuda10.2-cudnn7:20200827

5.2 安装我们所需要的包(两种方法)

编写Dockerfile,安装我们所需要的包
- FROM :从指定镜像中创建
- RUN在当前镜像基础上执行指定命令，并提交为新的镜像
- COPY复制本地主机的到容器中的
- WORKDIR /path/to/workdir 配置工作目录
- ENTRYPOOINT ["executable", "param1", "param2"]
- 配置容器启动后执行的命令
- 详见http://www.dockerinfo.net/dockerfile%E4%BB%8B%E7%BB%8D 介绍

  docker build -t amap_base .

直接run镜像在容器里安装
- nvidia-docker run -itd --net host image_id /bin/bash

nvidia-docker exec-it 1ef2652342be /bin/bash(访问容器)

在容器内部安装mmclassification，这里就不细说了，具体和我们平常在服务器的安装方法一致

5.3 Copy模型文件和测试代码到容器内

docker cp MMCLS.py 1ef2652342be:/amap/code/

5.4 Commit容器为新的镜像

docker commit 1ef2652342be amap:v1

构建提交镜像(run.sh&&Dockerfile)

docker build -t 天池之前创建的镜像仓库:1.0 .

5.5 本地测试

nvidia-docker run -v /data:/tcdata image sh run.sh

我用初赛B榜测试集来测试，-v 挂载本地路径/home/ailight/桌面/work_dir/amap/data/test按比赛要求挂载为/tcdata

运行没有问题在容器中也可以找到result.json
- Docker push yourimage(提交)

5.6 提交镜像

得到了我们很菜的成绩

6 总结

Docker 非常便于开发，交付和运行应用程序的开放平台。Docker 使您能够将应用程序与基础架构分开，从而可以快速交付软件。借助 Docker，您可以与管理应用程序相同的方式来管理基础架构。通过利用 Docker 的方法来快速交付，测试和部署代码，大大减少编写代码和在生产环境中运行代码之间的延迟。

注：大家有什么想了解的也可以在下方留言告诉我们，我们也会选择做分享