TensorFlow 2.4 发布

2024-05-09 03:04:40

TensorFlow 2.4 发布。主要更新包括对分布式训练和混合精度的支持，新的 NumPy 前端以及用于监视和诊断瓶颈的工具，此外还涉及性能和扩展方面的增强。

tf.distribute 中的新功能

参数服务器策略

在 2.4 中，tf.distribute模块引入了使用 ParameterServerStrategy 对模型进行异步训练的实验支持。以及自定义训练循环。参数服务器训练集群由工作服务器和参数服务器组成。变量在参数服务器上创建，然后在每个步骤中由工作人员读取和更新。变量的读取和更新在整个工作进程中独立发生，而没有任何同步。由于工作进程彼此不依赖，因此该策略具有工作程序容错的优势，并且在使用可抢占式 VM 时很有用。

Multi Worker Mirrored Strategy

MultiWorkerMirroredStrategy 现在不再处于实验阶段，已经成为稳定 API 的一部分。像它的同类产品MirroredStrategy一样，MultiWorkerMirroredStrategy 通过同步数据并行实现分布式训练，可跨多台机器。

Keras 更新

混合精度

Keras 混合精度 API 也已脱离实验性，成为稳定的 API。大多数 TensorFlow 模型使用 float32 dtype; 但是，有些低精度类型（例如 float16）使用的内存更少。混合精度是在同一模型中使用 16 位和 32 位浮点类型以进行更快的训练。该 API 可以将模型性能在 GPU 上提高 3 倍，在 TPU 上提高 60％。

优化器

此版本重构tf.keras.optimizers.Optimizer 类，使model.fit或定制训练循环的用户能够编写可与任何优化程序一起使用的训练代码。

其他

tf.experimental.numpy

TensorFlow 2.4 引入了对 NumPy API 子集的实验性支持，该模块使用户可以运行由 TensorFlow 加速的 NumPy 代码。

新的探查工具

TensorFlow Profiler 是可以用来衡量 TensorFlow 模型的训练表现和资源消耗的工具套件，可用来了解模型中操作的硬件资源消耗，诊断瓶颈并进行更快地训练。

更新详情查看：https://blog.tensorflow.org/2020/12/whats-new-in-tensorflow-24.html

TensorFlow 2.4 发布相关推荐

TensorFlow 2.0发布在即，高级API变化抢先看
作者 | Sandeep Gupta, Josh Gordon, and Karmel Allison 整理 | 非主流.Jane 出品 | AI科技大本营 [导语]早在今年 8 月的时候,谷歌开源战 ...
TensorFlow 2.0 发布以来，又有哪些最新进展？| AI ProCon 2020
[导读]7 月 3-4 日,由 CSDN 主办的第三届 AI 开发者大会(AI ProCon 2020)在线上举行.本次大会有超万人报名参与,参与人群覆盖 50+ 领域.4000 家企业.其中有来自行 ...
TensorFlow 2.0 发布以来，又有哪些最新进展？
[导读]7 月 3-4 日,由 CSDN 主办的第三届 AI 开发者大会(AI ProCon 2020)在线上举行.本次大会有超万人报名参与,参与人群覆盖 50+ 领域.4000 家企业.其中有来自行 ...
2.2版本发布！TensorFlow推出开发者技能证书
作者 | 弯月出品 | AI科技大本营(ID:rgznai100) 受 COVID-19 的影响,今年的 TensorFlow 开发者大会于2020年3月12日(北京时间)凌晨以线上直播的方式与全球 ...
TensorFlow 2.0开发者预览版发布
整理 | Jane 出品 | AI科技大本营从去年 8 月 Google 公开发布消息正在研发 TensorFlow 2.0 ,让我们在 12 月提前看到了一些高级 API 的变化,今天我们终于 ...
重磅 | TensorFlow 2.0即将发布，所有tf.contrib将被弃用
作者 | 阿司匹林出品 | AI科技大本营(公众号ID:rgznai100) 上周,谷歌刚刚发布了 TensorFlow 1.10.0 版本(详见<TensorFlow 版本 1.10.0 发 ...
支付宝推生物识别；Google 爆重大隐私问题；TensorFlow 2.0 即将发布 | 极客头条
「CSDN 极客头条」,是从 CSDN 网站延伸至官方微信公众号的特别栏目,专注于一天业界事报道.风里雨里,我们将每天为朋友们,播报最新鲜有料的新闻资讯,让所有技术人,时刻紧跟业界潮流. 快讯速知支 ...
一周焦点 | 讯飞发布公告，称公司不存在“造假”情形；TensorFlow 1.11.0发布
业界焦点 ▌Google 证实面向中国推出搜索工具的「蜻蜓计划」真的存在上个月,据外媒 Intercept 报道,Google 将针对中国市场推出一款以 Android 系统为应用平台的新搜索引擎, ...
大数据早报：MongoDB 3.6 默认对数据库勒索软件开启防御谷歌发布TensorFlow 1.4版本（11.10）
数据早知道,上36dsj看早报! 来源36大数据,作者:奥兰多『MongoDB』MongoDB 3.6 默认对数据库勒索软件开启防御 2017 有一条关于 MongoDB 的重大安全新闻引起了广泛关 ...

最新文章

热门文章