天池数据竞赛docker提交操作学习
天池数据竞赛docker提交操作学习
由于最近天池的比赛都要求使用docker来提交结果,所以在此记录一下docker提交到天池的整个流程。
目前正在做的,全球人工智能技术创新大赛【热身赛二】比赛链接:
https://tianchi.aliyun.com/competition/entrance/531865/introduction?spm=5176.12281976.0.0.293d22c674IJ5i
1 创建仓库
这部分也是最简单的,按照天池官方的教程,创建好仓库,设置好账号密码就可以了。官方教程地址:https://tianchi.aliyun.com/competition/entrance/231759/tab/174?spm=5176.12586973.0.0.51948f15XY1Pvj
2 代码路径问题
在把代码移植到docker之前,需要更改一下原来代码中的路径问题。比如我要打包的代码路径是这样的。
其中code就是代码部分,外面这些文件都会打包到dokcer的根目录下,所以代码中的路径最好是改成绝对路径,不要使用相对路径。
举个例子,比如现在要读取data文件夹下的数据,相对路径的写法就是’…/data/xxx.csv’,而绝对路径的写法就是’data/xxx.csv’
3 docker命令
3.1 拉取镜像
首先我们需要从天池的官方镜像中拉一个镜像下来,如果不是官方镜像,存在运行不了的可能。镜像的链接:https://tianchi.aliyun.com/forum/postDetail?spm=5176.12586973.0.0.51948f15XY1Pvj&postId=67720
采用docker pull加上镜像的路径就可以pull下来了。
注意:windows的docker默认是存在c盘的,一个镜像就会占10个G内存
比如我要使用pytorch的镜像,就先打开windows docker,等待启动后,在命令行输入 docker pull registry.cn-shanghai.aliyuncs.com/tcc-public/pytorch:1.4-cuda10.1-py3 ,就完成拉取了。拉取下来后,以后要使用这个镜像构建容器时,都不再需要pull了。
3.2 文件构成
然后就是在工作目录下,写一个Dockerfile来构建docker,Dockerfile的写法网上有很多参考,这里我把我的Dockerfile文件放上来。
FROM registry.cn-shanghai.aliyuncs.com/tcc-public/pytorch:1.4-cuda10.1-py3
ADD . /
WORKDIR /
RUN pip --no-cache-dir install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple
requirements.txt文件是需要安装的包,比如我要安装1.1.2版本的pandas,就直接在里面写pandas==1.1.2 ,每个包之间用回车隔开。
最后就是run.sh文件,里面只需要写执行python程序的代码就行了,比如我的里面写的是python code/baseline.py,运行这个sh文件时,就会自动去执行code文件夹下的baseline.py文件。
3.3 打包镜像
文件都准备好以后,就可以开始打包了,首先把所有文件都打包在一起,使用docker build -t test .命令,其中test就是打包好的dokcer的名字,最后有个小数点不能去掉。
打包好以后,就可以在本地测试运行一下了,windows docker不能使用gpu运行,所以使用docker run -v /data:/tcdata test:latest sh run.sh ,把data挂载在tcdata下,就可以开始运行了。其中latest是默认的test镜像的版本号。
注意:如果比赛说明中,测试集是数据从data文件夹挂载在tcdata文件夹下的,那么我个人觉得,本地测试的时候可以,把测试的数据放进data文件夹下,代码中读数据的时候就读data文件夹。而交上去的时候,本地文件的data就做一个空文件夹,然后代码中要读这个data文件的地方,都写成tcdata。
3.3 docker推送
这部分直接按照天池官方的教程走就可以了,首先就是登录,使用命令“docker login --username=用户名 registry.cn-shenzhen.aliyuncs.com” ,然后输入密码就可以成功。
然后是“docker tag 镜像ID 仓库地址:版本号”,其中镜像ID可以从docker images中查看对应的镜像的ID。
最后是“docker push 仓库地址:版本号”,然后把这个“仓库地址:版本号”,提交到天池对应的比赛提交入口就完成提交了。
天池数据竞赛docker提交操作学习相关推荐
- 【TIANCHI】天池大数据竞赛(学习赛)--- 淘宝用户购物行为数据可视化分析
目录 前言 一.数据集的来源和各个字段的意义 二.数据分析 1.引入库 2.读入数据 3.查看数据数量级 4.PV(Page View)/UV访问量 5.漏斗模型 6.用户购买商品的频次分析. 7.A ...
- 天池时间序列竞赛——AI助力精准气象和海洋预测学习笔记其一:赛题分析
序: 最近参加了天池的气象和海洋预测竞赛,希望能够借此机会学习时间序列的相关模型,接下来会通过系列博客记录并梳理自己在竞赛过程中的一些心得体会. 作为系列学习笔记的第一章,这篇文章旨在梳理和分享我对赛 ...
- 数据竞赛江湖录:打破阿里天池战神不败神话,南京人工智能应用大赛杀出黑马...
2018全球(南京)人工智能应用大赛于8月最后一天落下帷幕. 600万人民币奖金,吸引2855人次,1022支队伍参赛. 如果能从5727道答题方案中脱颖而出,并找到能够落地的人工智能方案,会获得一项 ...
- 国内首本数据竞赛图书《阿里云天池大赛赛题解析——机器学习篇》今日开启预售!
天池平台已经举办了超过 200 场来自真实业务场景的竞赛,每场赛事沉淀的课题和数据集,将在天池保留和开放.天池平台已成为在校学生踏入职场前的虚拟实践基地,也成为聚集40万数据人才,孵化2000余家数据 ...
- AI比赛-NER:“万创杯”中医药天池大数据竞赛——中药说明书实体识别挑战
大赛概况 疫情催化下,人工智能正在持续助力中医药传承创新加速发展,其中中医用药知识体系沉淀挖掘是一个基础工作.通过挖掘中药说明书构建中药合理用药的知识图谱,将为中医规范诊疗奠定较好基础.挑战旨在通过抽 ...
- Docker提交天池比赛流程
一.安装docker 天池大赛入门与docker实践课程: https://tianchi.aliyun.com/course/351 Ubuntu20.04安装docker: https://blo ...
- 如何做数据竞赛·优秀案例学习(DC03)
2019年腾讯广告算法大赛冠军思路.代码(PART 3) 方案地址:https://zhuanlan.zhihu.com/p/73062485 代码地址:https://github.com/guod ...
- docker数据卷之持久化操作
docker Docker三大核心组件:(运行起来的镜像就可以称作容器) Docker 镜像--Dcoker images:类比与类 Docker 仓库--Docker registeries: Do ...
- 修改数据无法提交_学习篇管家婆物联通功能讲解--|修改客户
当管家婆系统中录入的客户信息不够详细时,对新老业务员交替以及后期的外勤线路规划会造成困难.在使用管家婆物联进行外勤拜访时,业务员可针对不准确的客户信息进行修改并上报系统. 注意:1. 为避免客户信息被 ...
最新文章
- VC:CString用法整理(转载)
- opwnert挂载摄像头
- 分析大咖说:做一个转化率提升 2% 的成功官网改版案例
- 带你了解VXLAN网络中报文的转发机制
- 脚本语言程序员怎么学习程序设计?
- 开挂了!女生用写字机器人刷作业 因写太快被识破 这能怪孩子吗?
- 虚拟资源拳王公社:什么是虚拟资源自动化?为什么虚拟产品可以自动化赚,虚拟资源自动化有什么
- 如何在Git分支中搜索文件或目录?
- Java学习之路 之 容易混淆篇
- 打出租辆来回机场好贵
- 联想电脑安装黑苹果全教程
- 【大模型迁移 2022】Exploring Visual Prompts for Adapting Large-Scale Models
- 带计算机功能的私有云,网盘关停不用愁 教你打造个人私有云
- 群晖NAS虚拟机安装软路由LEDE,把K3C做AP
- 如何看待数字藏品越来越火
- ExpandableListView 实现评价回复功能
- 没有学历没有工作经验的程序员怎么找工作
- 小学语文毕业知识整理与复习题
- 依那西普血清水平与强直性脊柱炎患者疗效无相关性
- kafka之Consumer消费者基本概念