PyTorch

Author:louwill

Machine Learning Lab

随着近几年的大力发展,PyTorch逐渐成为主流的深度学习框架。相应的PyTorch技术生态也逐渐丰富和完善。本文重点回顾和盘点PyTorch的技术生态,包含大量的工具库,遍布AI各个领域和方向。

Pytorch Lightning

Pytorch Lightning是一款基于Pytorch的轻量级高级计算框架,相较于Pytorch而言最大特征是简洁易用,相当于Pytorch版本的Keras框架。

地址:https://www.pytorchlightning.ai/

Libtorch

Libtorch可以看作是C++版本的PyTorch,在Python环境下对训练好的模型进行转换之后,我们需要C++环境下的PyTorch来读取模型并进行编译部署。这种C++环境下的PyTorch就是libtorch。

地址:https://pytorch.org/cppdocs/

Detectron2

Detectron2是Facebook AI (FAIR) 发布的下一代目标检测算法框架。Detectron2是对Detectron项目的重构,也是maskrcnn-benchmark的替代框架。

地址:https://github.com/facebookresearch/detectron2

Transformers

Transformers是一款基于PyTorch的自然语言处理SOTA模型库。Transformers提供了数千种经过预训练的模型,能够处理各种NLP问题,例如文本分类、信息提取、问答系统,文本摘要,机器翻译和文本生成等。

地址:https://github.com/huggingface/transformers

ONNX runtime

ONNX Runtime是一种跨平台深度学习训练和推理机加速器,与深度学习框架,可以兼容TensorFlow、Keras和PyTorch等多种深度学习框架。ONNX (Open Neural Network Exchange) 是一种用于表示深度学习模型的开放格式,ONNX定义了一组通用的运算符、机器学习和深度学习模型的构建块以及一种通用的文件格式,使AI开发人员可以将模型与各种框架、工具和编译器一起使用。

地址:https://github.com/microsoft/onnxruntime

PyTorch Geometric

PyTorch Geometric (PyG) 是一款基于PyTorch的图神经网络深度学习扩展库。PyG对已发表或者常用的图神经网络和数据集都进行了集成,因而是当前最流行和广泛使用的GNN库。

地址:https://github.com/rusty1s/pytorch_geometric

PyTorch3D

PyTorch3D是一款基于PyTorch将深度学习与3D进行结合的研究框架。3D数据比2D图像更为复杂,在处理诸如Mesh R-CNN和C3DPO之类的项目时,需要用3D数据进行表示,在批处理和速度方面的诸多挑战。 PyTorch3D开发出许多用于3D深度学习的有用的运算符和抽象,并希望与社区共享以推动这一领域的新颖研究。

地址:https://pytorch3d.org/

Ray

Ray为构建分布式机器学习应用提供简单和通用式的API。Ray打包了Tune、RLlib、RaySGD和Ray Serve等多款机器学习库。

地址:https://github.com/ray-project/ray

skorch

从名称就可以看出来,skorch是一款综合scikit-learn和PyTorch的机器学习库,可以实现scikit-learn和PyTorch高效兼容。

地址:https://github.com/skorch-dev/skorch

PySyft

PySyft是用于安全和私有深度学习的Python库。PySyft使用联合学习,差分隐私和加密计算(例如PyTorch和TensorFlow等主要深度学习框架中的多方计算 (MPC) 和同态加密 (HE) 将模型训练中的私人数据进行解耦。

地址:https://github.com/OpenMined/PySyft

Pyro

Pyro是一款基于PyTorch作为后端的通用概率编程语言 (PPL)。

地址:http://pyro.ai/

fastai

fastai使用当前深度学习最佳实践简化了神经网络的训练过程,并且在速度和精度上都非常可观。fastai作为一款深度学习库,可为从业人员提供高级组件,这些组件可以快速轻松地提供标准深度学习领域中的最新结果,并为研究人员提供可以混合和匹配以构建的低级组件新方法。

地址:https://docs.fast.ai/

Horovod

Horovod可以为PyTorch提供分布式深度学习训练框架。Horovod最初由Uber开发,旨在使分布式深度学习变得快速且易于使用,使模型训练时间从几天和几周缩短到数小时和数分钟。使用Horovod可以将现有的训练脚本规模进行扩大,使其仅用几行Python代码就可以在数百个GPU上运行。

地址:http://horovod.ai/

AllenNLP

AllenNLP几乎可以针对几乎所有NLP问题设计深度学习模型,并且可以轻松地在云端或笔记本电脑上运行。

地址:https://allennlp.org/

Albumentations

Albumentations是一款用于计算机视觉图像增强的高级库。基于Albumentations的图像增强效果入下图所示。

地址:https://github.com/albumentations-team/albumentations

DeepSpeed

DeepSpeed是一个深度学习优化库,它使分布式训练变得容易和高效。

地址:https://www.deepspeed.ai/

Flair

Flair是一款非常容易上手的PyTorch NLP SOTA框架。

地址:https://github.com/flairNLP/flair

ParlAI

ParlAI是一款跨多个任务共享,训练和评估对话模型的一体化的机器学习平台。

地址:https://parl.ai/

PyTorch Metric Learning

PyTorch Metric Learning能够让你以最轻松的方式在你的机器学习代码中融入深度度量学习,并且容易模块化、高度的灵活性和可拓展性。PML 9大模块如下图所示。

地址:https://kevinmusgrave.github.io/pytorch-metric-learning/

BoTorch

BoTorch是一个基于PyTorch的高效贝叶斯优化框架。

地址:https://botorch.org/

随着PyTorch逐渐流行以及越来越多的开发者加入,基于PyTorch的深度学习技术生态也逐渐丰富和完善。本文限于篇幅,就仅罗列部分具有代表性和流行性的技术框架。

往期精彩回顾适合初学者入门人工智能的路线及资料下载机器学习及深度学习笔记等资料打印机器学习在线手册深度学习笔记专辑《统计学习方法》的代码复现专辑
AI基础下载机器学习的数学基础专辑
本站qq群704220115,加入微信群请扫码:

【深度学习】PyTorch深度学习技术生态相关推荐

  1. 数据增强 transform_深度学习-Pytorch框架学习之数据处理篇

    前言 数据是深度学习的核心,大部分论文里都会提到data-driven这个词,也就是数据驱动的意思.基本的模型搭建完成后,如何处理数据,如何将数据送给网络,如何做数据增强等等,对于提高网络的性能都十分 ...

  2. 深度学习Pytorch框架

    深度学习Pytorch框架 文章目录 深度学习Pytorch框架 前言 1. Pytorch命令之``nn.Sequential`` 2. Pytorch命令之``nn.Conv2d`` 3. Pyt ...

  3. 手把手教你搭建pytorch深度学习网络

    总有人在后台问我,如今 TensorFlow 和 PyTorch 两个深度学习框架,哪个更流行? 就这么说吧,今年面试的实习生,问到常用的深度学习框架时,他们清一色的选择了「PyTorch」. 这并不 ...

  4. 基于PyTorch深度学习无人机遥感影像目标检测、地物分类及语义分割

    随着无人机自动化能力的逐步升级,它被广泛的应用于多种领域,如航拍.农业.植保.灾难评估.救援.测绘.电力巡检等.但同时由于无人机飞行高度低.获取目标类型多.以及环境复杂等因素使得对无人机获取的数据处理 ...

  5. 打破深度学习局限,强化学习、深度森林或是企业AI决策技术的“良药”

    算法.算力和数据是人工智能时代的三驾马车,成为企业赋能人工智能的动力,但它们自身的特性也为企业和高校在研究和落地应用过程带来了重重挑战.比如,训练算法的成本高昂,数据从采集.处理到存储已面临瓶颈,目前 ...

  6. 5天玩转PyTorch深度学习,从GAN到词嵌入都有实例丨教程资源

    郭一璞 发自 凹非寺  量子位 报道 | 公众号 QbitAI 学PyTorch深度学习,可能5天就够了. 法国深度学习研究者Marc Lelarge出品的这套名为<Hands-on tour ...

  7. 150页书籍《PyTorch 深度学习快速入门指南》附PDF电子版

    为什么说是极简教程,首先本书只涵盖了150页.内容比较精简,特别适合作为 PyTorch 深度学习的入门书籍.为什么这么说呢?因为很多时候,一份厚重的书籍往往会削弱我们学习的积极性,在学习一门新的语言 ...

  8. pytorch深度学习_深度学习和PyTorch的推荐系统实施

    pytorch深度学习 The recommendation is a simple algorithm that works on the principle of data filtering. ...

  9. 伯禹公益AI《动手学深度学习PyTorch版》Task 03 学习笔记

    伯禹公益AI<动手学深度学习PyTorch版>Task 03 学习笔记 Task 03:过拟合.欠拟合及其解决方案:梯度消失.梯度爆炸:循环神经网络进阶 微信昵称:WarmIce 过拟合. ...

最新文章

  1. BZOJ 2135 刷题计划(贪心,求导,二分)【BZOJ 修复工程】
  2. 嵌入式驱动开发之2440/2410---硬件看门狗,喂狗
  3. 5G LAN — Overview
  4. 架构师之路 — 软件架构 — 软件版本定义
  5. Java入门需掌握的30个基本概念[转]
  6. XP下使用FFMPEG(API和exe)遇到的问题和解决方法。
  7. 学习笔记~~~~~TreeMap
  8. (转)web.xml 中的listener、 filter、servlet 加载顺序及其详解
  9. LNMP里常见的502问题
  10. Java:这是一份全面 详细的 Synchronized关键字 学习指南
  11. Python稳基修炼的经典案例9(计算机二级、初学者必会turtle库例题)
  12. 放弃 802.11 命名方式,Wi-Fi 6 标准公布,速度快 37%
  13. 苹果MacOS系统换壁纸的方法
  14. Windows XP怎样实现自动登录而无需输入密码
  15. c语言第五章答案许合利,C语言习题答案贾宗璞许合利较全-.doc
  16. PMCAFF转载——网易云课堂产品研习
  17. jQuery 实现弹幕效果案例
  18. 使用JMETER进行REST API测试(分步指南)
  19. 统计学基本知识(四)
  20. 青岛大学计算机二级考试,2017年3月青岛大学计算机等级考试准考证打印时间

热门文章

  1. poj 1092 Farmland (Geometry)
  2. apue 2013-03-14
  3. 使用Arcgis进行画面(线)并计算大小(长度)。
  4. Docker删除镜像
  5. 一霎清明雨,实现考勤管理。
  6. Base64编码算法
  7. javascript按字节截取标题中字符串
  8. modelsim的do文件
  9. cross product
  10. android adb server is out of date