TPU和GPU跑模型时间统计(持续更新中)以及TPU Research Cloud的申请

下面记录的训练时间就是所有数据开始训练到生成模型为止的时间，代码中都不包含交叉验证等策略。

已经尝试过的实验如下：

框架	数据集	代码	加速设备	平台	耗时
ResNet	cifar10	TPU运行Cifar10.ipynb	TPU	Google Colaboratory	2000s
XGBoost	IEEE-CIS-Fraud-Detection	ieee-fraud-xgboost-with-gpu-fit-in-40s.ipynb	Tesla P100-PCIE-16GB	KaggleNotebook	38s
XGBoost	IEEE-CIS-Fraud-Detection	ieee-fraud-xgboost-with-gpu-fit-in-40s.ipynb	NVIDIA Corporation GK210GL [Tesla K80] (rev a1)	Google Colaboratory	15min 39s
XGBoost	IEEE-CIS-Fraud-Detection	ieee-fraud-xgboost-with-gpu-fit-in-40s.ipynb	Tesla V100-SXM2-16GB	Baidu AIStudio	30s
tf.keras.models.Sequential()	MNIST	colab上使用GPU和TPU比较.ipynb(已经提交bug给Tensorflow,暂不可用)	TPU	Google Colaboratory	44s
tf.keras.models.Sequential()	MNIST	colab上使用GPU和TPU比较.ipynb(已经提交bug给Tensorflow,暂不可用)	NVIDIA Corporation GK210GL [Tesla K80] (rev a1)	Google Colaboratory	2min
torch_xla	MNIST	mnist-training-xrt-1-15.ipynb	TPU	Google Colaboratory	1min4s
torch	rsna_train_stage_1_images_png_224x rsna_test_stage_1_images_png_224x	Pytorch ResNeXt 32x8d CenterCrop－修改数据量 .ipynb	Tesla P100-PCIE-16GB	KaggleNotebook	约4.5小时/epoch

如何根据模型选择最佳平台呢？结论是：

XGBoost最佳是Baidu AIStudio

Tensorflow最佳选择是Google Colaboratory

TPU Research Cloud的申请链接是:

https://www.tensorflow.org/tfrc/?hl=zh-cn

注意，不要去问他们设置问题，他们很烦你问设置问题，如果你一次申请完了之后问设置问题，第二次就别想申请了，

他们希望你对google的版面足够熟悉

申请后的配置看了下，略坑，这么点配置根本没法用来打Kaggle.
pkuappleyuchi@cloudshell:~$ df -H
Filesystem Size Used Avail Use% Mounted on
overlay 44G 33G 11G 76% /
tmpfs 68M 0 68M 0% /dev
tmpfs 888M 0 888M 0% /sys/fs/cgroup
/dev/sda1 44G 33G 11G 76% /root
/dev/sdb1 5.2G 11M 4.9G 1% /home
shm 68M 0 68M 0% /dev/shm
overlayfs 1.1M 168k 881k 17% /etc/ssh/ssh_host_rsa_key
tmpfs 888M 713k 887M 1% /run/metrics
overlayfs 1.1M 168k 881k 17% /etc/ssh/keys
tmpfs 888M 0 888M 0% /run/google/devshell

根据[1]可知,TPU的长处是CNN,而不是LSTM.

Reference:

[1]https://blog.csdn.net/weixin_42137700/article/details/89041913

TPU和GPU跑模型时间统计(持续更新中)以及TPU Research Cloud的申请相关推荐

嵌入式相关开源项目、库、资料------持续更新中
学习初期最难找的就是找学习资料了,本贴精心汇总了一些嵌入式相关资源,包括但不限于编程语言.单片机.开源项目.物联网.操作系统.Linux.计算机等资源,并且在不断地更新中,致力于打造全网最全的嵌入式资 ...
Go语言开发学习笔记（持续更新中）
Go语言开发学习笔记(持续更新中) 仅供自我学习更好的文档请选择下方 https://studygolang.com/pkgdoc https://www.topgoer.com/go%E5%9F% ...
JAVA面试大全(持续更新中...)
本文旨在收集Java面试过程中出现的问题,力求全面,仅作学习交流,欢迎补充,持续更新中-,部分段落选取自网上,部分引用文章已标注,部分已记不清了,如侵权,联系本人 Java基础 1.面向对象的概述面 ...
2020年拼多多校招面试题及答案-最全最新-持续更新中（2）
大家好我是好好学习天天编程的天天一个整天在互联网上种菜和砍柴的程序员~ 2020年拼多多校招面试题及答案-最全最新-持续更新中(2) 2020年拼多多校招面试题一面 2020年拼多多校招面试题一面- ...
【Vue全家桶+SSR+Koa2全栈开发】项目搭建过程整合学习目录（持续更新中）
写在开头大家好,这里是lionLoveVue,基础知识决定了编程思维,学如逆水行舟,不进则退.金三银四,为了面试也还在慢慢积累知识,Github上面可以直接查看所有前端知识点梳理,github传送门 ...
面试JAVA常被问到的问题（持续更新中）
引言有的面试会被问到有没有写博客,这时候我尴尬,不知道怎么回答,所以这篇文章仅仅是把我面试JAVA的遇到的问题记录下来而已,也算是我写博客迈出的第一步,起码,以后被问到:有没有写博客?我可以回答,我 ...
面试1：Java、微服务、架构常见面试题（持续更新中）
Java.微服务.架构常见面试题(持续更新中) 文章目录 Java.微服务.架构常见面试题(持续更新中) ==**Java**== 1.Java概述 (1)JVM.JRE和JDK (2)Java特点 ...
这些开源项目，你都知道吗？（持续更新中...）[原创]
原文这些开源项目,你都知道吗?(持续更新中...)[原创] Json.NET http://json.codeplex.com/ Json.Net是一个读写Json效率比较高的.Net框架.Json ...
网络流题目详讲+题单(提高版)(持续更新中......)
网络流题目详讲+题单(提高版)(持续更新中......) 标签:图论--网络流 PS:如果你觉得自己还不够强(和我一样弱),可以去入门版看看阅读体验:https://zybuluo.com/Junl ...

TPU和GPU跑模型时间统计(持续更新中)以及TPU Research Cloud的申请

TPU和GPU跑模型时间统计(持续更新中)以及TPU Research Cloud的申请相关推荐

最新文章

热门文章