(给视学算法加星标,提升Python技能)

编译:机器之心,作者:Vihar Kurama

谷歌的 Tensorflow 与 Facebook 的 PyTorch 一直是颇受社区欢迎的两种深度学习框架。那么究竟哪种框架最适宜自己手边的深度学习项目呢?本文作者从这两种框架各自的功能效果、优缺点以及安装、版本更新等诸多方面给出了自己的建议。
如果你在读这篇文章,那么你可能已经开始了自己的深度学习之旅。如果你对这一领域还不是很熟悉,那么简单来说,深度学习使用了「人工神经网络」,这是一种类似大脑的特殊架构,这个领域的发展目标是开发出能解决真实世界问题的类人计算机。为了帮助开发这些架构,谷歌、Facebook 和 Uber 等科技巨头已经为 Python 深度学习环境发布了多款框架,这让人们可以更轻松地学习、构建和训练不同类型的神经网络。本文将详细介绍和比较两种流行的框架:TensorFlow 与 PyTorch。
目录
  • 谷歌的 TensorFlow

  • Facebook 的 PyTorch

  • 我们可以用 TensorFlow 和 PyTorch 构建什么?

  • PyTorch 和 TensorFlow 对比

  • PyTorch 和 TensorFlow 的优点和缺点

  • PyTorch 和 TensorFlow 安装、版本、更新

  • TensorFlow 还是 PyTorch?我的建议

谷歌的 TensorFlow
TensorFlow 是谷歌的开发者创造的一款开源的深度学习框架,于 2015 年发布。官方研究发布于论文《TensorFlow:异构分布式系统上的大规模机器学习》。
论文地址:http://download.tensorflow.org/paper/whitepaper2015.pdf
TensorFlow 现已被公司、企业与创业公司广泛用于自动化工作任务和开发新系统,其在分布式训练支持、可扩展的生产和部署选项、多种设备(比如安卓)支持方面备受好评。
Facebook 的 PyTorch
PyTorch 是最新的深度学习框架之一,由 Facebook 的团队开发,并于 2017 年在 GitHub 上开源。有关其开发的更多信息请参阅论文《PyTorch 中的自动微分》。
论文地址:https://openreview.net/pdf?id=BJJsrmfCZ
PyTorch 很简洁、易于使用、支持动态计算图而且内存使用很高效,因此越来越受欢迎。接下来还会更详细地介绍。
我们可以用 TensorFlow 和 PyTorch 构建什么?
神经网络起初是被用于解决手写数字识别或用相机识别汽车注册车牌等简单的分类问题。但随着近来框架的发展以及英伟达高计算性能图形处理单元(GPU)的进步,我们可以在 TB 级的数据上训练神经网络并求解远远更加复杂的问题。一个值得提及的成就是在 TensorFlow 和 PyTorch 中实现的卷积神经网络在 ImageNet 上都达到了当前最佳的表现。训练后的模型可以用在不同的应用中,比如目标检测、图像语义分割等等。
尽管神经网络架构可以基于任何框架实现,但结果却并不一样。训练过程有大量参数都与框架息息相关。举个例子,如果你在 PyTorch 上训练一个数据集,那么你可以使用 GPU 来增强其训练过程,因为它们运行在 CUDA(一种 C++ 后端)上。TensorFlow 也能使用 GPU,但它使用的是自己内置的 GPU 加速。因此,根据你所选框架的不同,训练模型的时间也总是各不相同。
TensorFlow 顶级项目
Magenta:一个探索将机器学习用作创造过程的工具的开源研究项目:https://magenta.tensorflow.org/
Sonnet:这是一个基于 TensorFlow 的软件库,可用于构建复杂的神经网络:https://sonnet.dev/
Ludwig:这是一个无需写代码就能训练和测试深度学习模型的工具箱:https://uber.github.io/ludwig/
PyTorch 顶级项目
CheXNet:使用深度学习来分析胸部 X 光照片,能实现放射科医生水平的肺炎监测:https://stanfordmlgroup.github.io/projects/chexnet/
PYRO:这是一种用 Python 编写的通用概率编程语言(PPL),后端由 PyTorch 支持:https://pyro.ai (https://pyro.ai/)
Horizon:一个用于应用强化学习(Applied RL)的平台:https://horizonrl.com (https://horizonrl.com/)
这些只是基于 TensorFlow 和 PyTorch 构建的少量框架和项目。你能在 TensorFlow 和 PyTorch 的 GitHub 和官网上找到更多。
PyTorch 和 TensorFlow 对比
PyTorch 和 TensorFlow 的关键差异是它们执行代码的方式。这两个框架都基于基础数据类型张量(tensor)而工作。你可以将张量看作是下图所示的多维数组。
机制:动态图定义与静态图定义
TensorFlow 框架由两个核心构建模块组成:
  • 一个用于定义计算图以及在各种不同硬件上执行这些图的运行时间的软件库。

  • 一个具有许多优点的计算图(后面很快就会介绍这些优点)。

计算图是一种将计算描述成有向图的抽象方式。图是一种由节点(顶点)和边构成的数据结构,是由有向的边成对连接的顶点的集合。
当你在 TensorFlow 中运行代码时,计算图是以静态方式定义的。与外部世界的所有通信都是通过 tf.Sessionobject 和 tf.Placeholder 执行,它们是在运行时会被外部数据替换的张量。例如,看看以下代码段:
下图是 TensorFlow 中运行代码之前以静态方式生成计算图的方式。计算图的核心优势是能实现并行化或依赖驱动式调度(dependency driving scheduling),这能让训练速度更快,更有效率。
类似于 TensorFlow,PyTorch 也有两个核心模块:
  • 计算图的按需和动态构建

  • Autograd:执行动态图的自动微分

可以在下图中看到,图会随着执行过程而改变和执行节点,没有特殊的会话接口或占位符。整体而言,这个框架与 Python 语言的整合更紧密,大多数时候感觉更本地化。因此,PyTorch 是更 Python 化的框架,而 TensorFlow 则感觉完全是一种新语言。
根据你所用的框架,在软件领域有很大的不同。TensorFlow 提供了使用 TensorFlow Fold 库实现动态图的方式,而 PyTorch 的动态图是内置的。
分布式训练
PyTorch 和 TensorFlow 的一个主要差异特点是数据并行化。PyTorch 优化性能的方式是利用 Python 对异步执行的本地支持。而用 TensorFlow 时,你必须手动编写代码,并微调要在特定设备上运行的每个操作,以实现分布式训练。但是,你可以将 PyTorch 中的所有功能都复现到 TensorFlow 中,但这需要做很多工作。下面的代码片段展示了用 PyTorch 为模型实现分布式训练的简单示例:
可视化
在训练过程的可视化方面,TensorFlow 更有优势。可视化能帮助开发者跟踪训练过程以及实现更方便的调试。TensorFlow 的可视化库名为 TensorBoard。PyTorch 开发者则使用 Visdom,但是 Visdom 提供的功能很简单且有限,所以 TensorBoard 在训练过程可视化方面更好。
TensorBoard 的特性:
  • 跟踪和可视化损失和准确度等指标

  • 可视化计算图(操作和层)

  • 查看权重、偏差或其它张量随时间变化的直方图

  • 展示图像、文本和音频数据

  • 分析 TensorFlow 程序

在 TensorBoard 中可视化训练
Visdom 的特性
  • 处理回调

  • 绘制图表和细节

  • 管理环境

在 Visdom 中可视化训练
生产部署
在将训练好的模型部署到生产方面,TensorFlow 显然是赢家。我们可以直接使用 TensorFlow serving 在 TensorFlow 中部署模型,这是一种使用了 REST Client API 的框架。
使用 PyTorch 时,在最新的 1.0 稳定版中,生产部署要容易一些,但它没有提供任何用于在网络上直接部署模型的框架。你必须使用 Flask 或 Django 作为后端服务器。所以,如果要考虑性能,TensorFlow serving 可能是更好的选择。
用 PyTorch 和 TensorFlow 定义一个简单的神经网络
我们比较一下如何在 PyTorch 和 TensorFlow 中声明神经网络。
在 PyTorch 中,神经网络是一个类,我们可以使用 torch.nn 软件包导入构建架构所必需的层。所有的层都首先在 __init__() 方法中声明,然后在 forward() 方法中定义输入 x 在网络所有层中的遍历方式。最后,我们声明一个变量模型并将其分配给定义的架构(model = NeuralNet())。
近期 Keras 被合并到了 TensorFlow 库中,这是一个使用 TensorFlow 作为后端的神经网络框架。从那时起,在 TensorFlow 中声明层的句法就与 Keras 的句法类似了。首先,我们声明变量并将其分配给我们将要声明的架构类型,这里的例子是一个 Sequential() 架构。
接下来,我们使用 model.add() 方法以序列方式直接添加层。层的类型可以从 tf.layers 导入,如下代码片段所示:
TensorFlow 和 PyTorch 的优缺点

TensorFlow和PyTorch各有其优缺点。

TensorFlow 的优点:
  • 简单的内置高级 API

  • 使用 TensorBoard 可视化训练

  • 通过 TensorFlow serving 容易实现生产部署

  • 很容易的移动平台支持

  • 开源

  • 良好的文档和社区支持

TensorFlow 的缺点:
  • 静态图

  • 调试方法

  • 难以快速修改

PyTorch 的优点
  • 类 Python 的代码

  • 动态图

  • 轻松快速的编辑

  • 良好的文档和社区支持

  • 开源

  • 很多项目都使用 PyTorch

PyTorch 的缺点:
  • 可视化需要第三方

  • 生产部署需要 API 服务器

PyTorch 和 TensorFlow 安装、版本、更新
PyTorch 和 TensorFlow 近期都发布了新版本:PyTorch 1.0(首个稳定版)和 TensorFlow 2.0(beta 测试版)。这两个版本都有重大的更新和新功能,让训练过程更高效、流畅和强大。
如果你要在自己的机器上安装这些框架的最新版,你可以用源代码 build 或通过 pip 安装。
PyTorch 安装
macOS 和 Linux
pip3 install torch torchvision
Windows
pip3 install https://download.pytorch.org/whl/cu90/torch-1.1.0-cp36-cp36m-win_amd64.whl
pip3 install https://download.pytorch.org/whl/cu90/torchvision-0.3.0-cp36-cp36m-win_amd64.whl
TensorFlow 安装
macOS、Linux 和 Windows
# Current stable release for CPU-only
pip install tensorflow
# Install TensorFlow 2.0 Beta
pip install tensorflow==2.0.0-beta1
要检查安装是否成功,可使用命令提示符或终端按以下步骤操作。
TensorFlow 还是 PyTorch?我的建议
TensorFlow 是一种非常强大和成熟的深度学习库,具有很强的可视化功能和多个用于高级模型开发的选项。它有面向生产部署的选项,并且支持移动平台。另一方面,PyTorch 框架还很年轻,拥有更强的社区动员,而且它对 Python 友好。
我的建议是如果你想更快速地开发和构建 AI 相关产品,TensorFlow 是很好的选择。建议研究型开发者使用 PyTorch,因为它支持快速和动态的训练。
原文链接:https://builtin.com/data-science/pytorch-vs-tensorflow

推荐阅读

(点击标题可跳转阅读)

觉得本文对你有帮助?请分享给更多人

关注「视学算法」加星标,提升Python技能

好文章,我在看❤️

TensorFlow与PyTorch之争,哪个框架最适合深度学习相关推荐

  1. 深度学习入门笔记(十五):深度学习框架(TensorFlow和Pytorch之争)

    欢迎关注WX公众号:[程序员管小亮] 专栏--深度学习入门笔记 声明 1)该文章整理自网上的大牛和机器学习专家无私奉献的资料,具体引用的资料请看参考文献. 2)本文仅供学术交流,非商用.所以每一部分具 ...

  2. DL框架:主流深度学习框架(TensorFlow/Pytorch/Caffe/Keras/CNTK/MXNet/Theano/PaddlePaddle)简介、多个方向比较、案例应用之详细攻略

    DL框架:主流深度学习框架(TensorFlow/Pytorch/Caffe/Keras/CNTK/MXNet/Theano/PaddlePaddle)简介.多个方向比较.案例应用之详细攻略 目录 深 ...

  3. TensorFlow 与 PyTorch 之争

    点击我爱计算机视觉标星,更快获取CVML新技术 本文经机器之心(微信公众号:almosthuman2014)授权转载,禁止二次转载. 选自builtin 作者:Vihar Kurama 机器之心编译 ...

  4. 终极之战!TensorFlow与PyTorch谁最适合深度学习

    选自builtin 本文经机器之心授权转载,禁止二次转载 (微信公众号:almosthuman2014) 参与:吴攀.杜伟 谷歌的 Tensorflow 与 Facebook 的 PyTorch 一直 ...

  5. TensorFlow和Caffe、MXNet、Keras等其他深度学习框架的对比

    2019独角兽企业重金招聘Python工程师标准>>> TensorFlow和Caffe.MXNet.Keras等其他深度学习框架的对比 博客分类: 深度学习 Google 近日发布 ...

  6. keras框架下的深度学习(一)手写体数字识别

    文章目录 前言 一.keras的介绍及其操作使用 二.手写题数字识别 1.介绍 2.对数据的预处理 3.搭建网络框架 4.编译 5.循环训练 6.测试训练的网络模 7.总代码 三.附:梯度下降算法 1 ...

  7. GPU信息查看以及确认Pytorch使用了GPU计算模块进行深度学习的训练

    GPU信息查看以及确认Pytorch使用了GPU计算模块进行深度学习的训练 目录 GPU信息查看以及确认Pytorch使用了GPU计算模块进行深度学习的训练 GPU基础信息查看 Pytorch是否使用 ...

  8. 【PyTorch】 99%程序员都不知道, 深度学习还能这样玩 (建议收藏)

    [PyTorch] 99%程序员都不知道, 深度学习还能这样玩 概述 迁移学习 入住 GitHub 项目详解 get_data.py (获取数据) get_model (获取模型) 参数详解 使用说明 ...

  9. TensorFlow 2.0来了,为什么他却说“深度学习框架之争,现在谈结果为时尚早”?...

    记者 | 琥珀 出品 | AI科技大本营(ID:rgznai100) 半个多世纪前,浙江大学老校长竺可桢曾有两个非常经典的教育问题:"诸位在校,有两个问题应该自己问问,第一,到浙大来做什么? ...

最新文章

  1. 给机器学习从业者的 12 条建议
  2. Java Number Math 类方法
  3. Fresh for Mac(文件管理软件)
  4. ip在线代理网页联合早报_一次免费代理ip的爬取实战
  5. corba的兴衰_代码广播的兴衰
  6. 关于 C 的 arithmetic conversion (进行 算术运算 时的 强制转换规则)
  7. python脚本打包rpm_python程序打包rpm包
  8. rabbitmq消息保证幂等的消息设计
  9. 远程开启admin$共享(远程管理需开启如dameware软件)
  10. 使用python的matplotlib模块对netflow的流量信息分析(饼图)
  11. 【openGauss】gsql客户端工具(二)gsql客户端工具之Data Studio客户端工具
  12. c语言 数组 全部赋值0,关于C语言数组赋值方法
  13. 【转】前端开发设计必备的Chrome插件
  14. 【全】可供选择的软件开源协议的罗列
  15. matlab中contourm,MATLAB 中contour函数的使用
  16. 亚马逊个人创业这条路行的通吗?
  17. POI读取Excel(兼容Excel2003、Excel2007)
  18. Python分析抖音数据,让视频爆起来!
  19. 零售商贩mysql表设计:banner+banner_item+image关联表(轮播图表)
  20. vba 为excel排序

热门文章

  1. 12 个 Pandas 数据处理高频操作
  2. 基于 Opencv 实现眼睛控制鼠标
  3. 人工智能/云原生/数据科学/计算等方向内容整理志愿者招募了!
  4. Java架构技术文档:并发编程+设计模式+常用框架+JVM+精选视频
  5. 2021年浅谈多任务学习
  6. 程序员:我受够了!不想再在小厂里干Java了!
  7. 阿里飞天大数据飞天AI平台“双生”系统正式发布,9大全新数据产品集中亮相
  8. 解决掉这些痛点和难点,让知识图谱不再是“噱头”
  9. 何恺明等人新作:效果超ResNet,利用NAS方法设计随机连接网络 | 技术头条
  10. 顶会论文9篇,又斩获百度奖学金!哈工大NLP“新生代”正崭露头角