TPU 使用TPU训练tensorflow初探(Colab)

TPU

TPU, tensor processing unit, 张量处理器, 是Google为机器学习定制的专用芯片（ASIC），专为Google的深度学习框架TensorFlow而设计。

TPU 比现在的 CPU、GPU 在深度学习的推断任务上，要快 15～30 倍。而在能耗比上，更是好出 30～80 倍。

与图形处理器（GPU）相比，TPU采用低精度（8位）计算，以降低每步操作使用的晶体管数量。降低精度对于深度学习的准确度影响很小，但却可以大幅降低功耗、加快运算速度。同时，TPU使用了脉动阵列的设计，用来优化矩阵乘法与卷积运算，减少I/O操作。此外，TPU还采用了更大的片上内存，以此减少对DRAM的访问，从而更大程度地提升性能。

Google在2016年的Google I/O年会上首次公布了TPU。不过在此之前TPU已在Google内部的一些项目中使用了一年多，如Google街景服务、RankBrain以及其旗下DeepMind公司的围棋软件AlphaGo等都用到了TPU。而在2017年的Google I/O年会上，Google又公布了第二代TPU，并将其部署在Google云平台之上。第二代TPU的浮点运算能力高达每秒180万亿次

使用TPU训练tensorflow

用google colab

直接执行下面代码即可
import tensorflow as tf
import numpy as np
import os(x_train, y_train), (x_test, y_test) = tf.keras.datasets.fashion_mnist.load_data()# add empty color dimension
x_train = np.expand_dims(x_train, -1)
x_test = np.expand_dims(x_test, -1)def create_model():model = tf.keras.models.Sequential()model.add(tf.keras.layers.Conv2D(64, (3, 3), input_shape=x_train.shape[1:]))model.add(tf.keras.layers.MaxPooling2D(pool_size=(2, 2), strides=(2,2)))model.add(tf.keras.layers.Activation('relu'))model.add(tf.keras.layers.Flatten())model.add(tf.keras.layers.Dense(10))model.add(tf.keras.layers.Activation('softmax'))return modeltpu = tf.distribute.cluster_resolver.TPUClusterResolver()
tf.config.experimental_connect_to_cluster(tpu)
tf.tpu.experimental.initialize_tpu_system(tpu)
strategy = tf.distribute.experimental.TPUStrategy(tpu)with strategy.scope():model = create_model()model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=1e-3),loss=tf.keras.losses.sparse_categorical_crossentropy,metrics=[tf.keras.metrics.sparse_categorical_accuracy])model.fit(x_train.astype(np.float32), y_train.astype(np.float32),epochs=5,steps_per_epoch=60,validation_data=(x_test.astype(np.float32), y_test.astype(np.float32)),validation_freq=5
)

TPU 使用TPU训练tensorflow初探(Colab)相关推荐

【深度学习】Tensorboard可视化模型训练过程和Colab使用
[深度学习]Tensorboard可视化模型训练过程和Colab使用文章目录 1 概述 2 手撸代码实现 3 Colab使用3.1 详细步骤3.2 Demo 4 总结 1 概述在利用TensorF ...
用浏览器训练Tensorflow.js模型的18个技巧（上）
摘要: 送你18个训练Tensorflow.js模型的小技巧! 在移植现有模型(除tensorflow.js)进行物体检测.人脸检测.人脸识别后,我发现一些模型不能以最佳性能发挥.而tensorflo ...
在英特尔独立显卡上训练TensorFlow模型
作者:武卓,张晶目录 1.1 英特尔锐炫™独立显卡简介 1.2 蝰蛇峡谷简介 1.3 搭建训练TensorFlow模型的开发环境 1.3.1 Windows 版本要求: 1.3.2 下载并安装最新的 ...
谷歌千元级TPU芯片发布，TensorFlow更换Logo推出2.0最新版
栗子晓查发自凹非寺量子位报道 | 公众号 QbitAI 今天凌晨,谷歌一年一度的TensorFlow开发者大会在加州举行.明明应该是一场软件盛会,却被生生开出了硬件发布会的味道. 谷歌在会 ...
DeepR —训练TensorFlow模型进行生产
Authors Guillaume Genthial, Romain Beaumont, Denis Kuzin, Amine Benhalloum 作家 Guillaume Genthial , R ...
Tensorflow初探之MNIST数据集学习
官方文档传送门 MNIST数据集是手写数字0~9的数据集,一般被用作机器学习领域的测试,相当于HelloWorld级别. 本程序先从网上导入数据,再利用最小梯度法进行训练使得样本交叉熵最小,最后给出训 ...
pytorch创建模型并训练（初探文本分类问题）
本博客对pytorch在深度学习上的使用进行了介绍,本博客并不会对怎么训练一个好的模型进行介绍(其实我也不会),我觉得训练一个好的模型首先得选对一个模型(关键的问题在于模型如何设计),然后再经 ...
keras训练完以后怎么预测_还在使用“龟速”的单显卡训练模型？动动手，让TPU节省你的时间...
点击上方关注,All in AI中国本文将介绍如何使用Keras和Google CoLaboratory与TPU一起训练LSTM模型,与本地计算机上的GPU相比,这样训练能大大缩短训练时间. 很长一 ...
1美元从零开始训练Bert，手把手教你优雅地薅谷歌云TPU羊毛
大数据文摘出品来源:Google Colab 编译:武帅.曹培信 2018年10月,Google AI团队推出了Bert,可以说Bert一出生就自带光环. 在斯坦福大学机器阅读理解水平测试SQuAD ...
bert 中文代码谷歌_1美元从零开始训练Bert，手把手教你优雅地薅谷歌云TPU羊毛...
大数据文摘出品来源:Google Colab 编译:武帅.曹培信 2018年10月,Google AI团队推出了Bert,可以说Bert一出生就自带光环. 在斯坦福大学机器阅读理解水平测试SQuAD ...

TPU 使用TPU训练tensorflow初探(Colab)

TPU

使用TPU训练tensorflow

TPU 使用TPU训练tensorflow初探(Colab)相关推荐

最新文章

热门文章