文章目录

1. 什么是深度学习框架
2. 深度学习框架的出现
3. 总结
- 3.1 深度学习框架如何加速计算
- - 3.1.1 计算图
- 3.2 如何实现自动微分
- 3.3 扩展包用来做什么
- 3.4 部署模型加速的工具
- - 3.4.1 GPU级别的加速-英伟达的TensorRT
  - 3.4.2 CPU级别的加速——英特尔公司的OpenVINO工具箱
4. 参考内容：

作为一个看过tensorflow官网基础教程，玩过一段时间的keras，还测试过fastAI，跟着李沐老师团队MXnet/Gluon课程的半吊子AI工程师，今天开始学pytorch了，然后突然想到这个问题，就整理了一下。

1. 什么是深度学习框架

这个概念很泛化，先举几个例子，最后总结的时候再说：

Pytorch的定义是：

无缝替换NumPy，并且通过利用GPU的算力来实现神经网络的加速。

通过自动微分机制，来让神经网络的实现变得更加容易。

MXnet或者Gluon的一些特性：

记得以前上李沐老师团队的课，课中提到有自动求导的机制

PaddlePaddle：

PaddlePaddle会自动执行链式求导法则计算模型里面每个参数和变量对应的梯度值

TensorFlow很早就有了自动求导机制，网上搜索Tensorflow自动求导会有很多博文结果。

所以不难得知目前的深度学习框架都实现了自动求梯度的功能。

2. 深度学习框架的出现

背景：自从IBM 的深蓝Deep Blue 国际象棋系统在 1997 年击败了世界冠军 Garry Kasparov（Hsu, 2002），2016年alphago战胜人类围棋顶尖高手柯洁之后。
诱因：神经网络再次成为学术界和工业界的一个热点（学术带动工业，工业场景促进学术），所以出现了大量的深度学习计算框架，根本原因是深度学习对硬件环境的依赖很高，对于开发者有较高的门槛，深度学习计算框架的出现，屏蔽了大量硬件环境层面的开发代价，使研究者和开发人员可以专注于算法的实现，快速迭代。

举例：其实大多数深度学习框架都是在2016年附近开始出现的。

tensorflow 2015年11月9日（github上最早的一个release时间 0.5.0）——tensorflow-github-tags

2017年2月15日，tensorflow v1.0正式发布——【重磅】TensorFlow 1.0 官方正式发布，重大更新及5大亮点

此后，2019年10月1日，tensorflow发布2.0版本——TensorFlow 2.0凌晨发布！“改变一切，力压PyTorch”

pytorch ——2016年8月24日，v0.1.1第一个release版本——pytorch-github-tags

2018年12月，pytroch1.0正式版发布——PyTorch 1.0 正式版发布了！，

百度的paddlepaddle，github上第一个release版本：2016年8月31日 V0.8.0b0 ——paddlepaddle-github-tags

微软的CNTK，github上第一个release版本：2016年2月22日 2015-12-08——CNTK-github-tags

亚马逊的mxbet，github上第一个release版本：2016年5月27日 v0.7.0 ——mxnet-github-tags

所以巨头入场，深度学习计算框架爆发元年，就是2015年底——2016年。

另外，在网上搜索了一下深度学习计算框架元年，搜到以下内容(源自：国产开源这一年，好生热闹)：

2020年，“开源”成为AI领域的标签之一，而今年也成为国内深度学习框架的开源元年。
从年初开始，华为Mindspore、旷视天元MegEngine、腾讯TNN、清华Jittor等数个国产AI框架渐次宣布开源。此外，百度飞桨也通过与不同企业的合作，不断拓展飞桨的兼容性和开放特征。随着国内科技公司对框架的开源，逐渐打破了国外PyTorch、TensorFlow、Keras、MXNet四家独大的局面，为国内人工智能技术的发展奠定了最关键的底层基础。
据全球咨询机构IDC在《中国深度学习平台市场份额调研》显示，在AI技术使用方面，接受调研的企业和开发者中，86.2%选择使用开源的深度学习框架。
就目前而言，除了华为、腾讯等大体量的科技企业外，一批新兴人工智能企业的开源项目，也逐渐成为主流，旷视的深度学习框架天元（MegEngine）就是其中之一。

虽然好像都没怎么听过，但是有总比没得好，

深度学习框架有什么作用？相关推荐

漫画：我用深度学习框架画下女朋友最美的脸
这不,又一个程序员为爱变身灵魂画手,看得我都想学画画了. 阿华是幸运的,因为他找到了对的方法,事半功倍,最终有情人终成眷属.这也得益于 PyTorch 的易学易用,大多数人第一次使用 PyTorch ...
小米立Flag：要做年轻人的第一个深度学习框架
小米要做移动端最牛叉的深度学习框架. -- 小米崔宝秋北京时间 6 月 28 日,在第十三届开源中国开源世界高峰论坛上,小米首席架构师.人工智能与云平台副总裁崔宝秋在<小米 AI 时代的开源& ...
深度学习框架盘点和实践！
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过开课吧教育作者:高民权,前IBM中国数据科学家深度学习神经网络正步入成熟,而深度学习框架目前 ...
用Python实现深度学习框架
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过开课吧教育作者:高民权,前IBM中国数据科学家深度学习作为人工智能的核心技术,近年来无论是学 ...
王敏捷 - 深度学习框架这十年！
深度学习框架这十年王敏捷 ACM'07 纽约大学博士,亚马逊上海研究院应用科学家内容概览介绍了深度学习框架发展的三个时期:工具包时代(2014年前).数据流时期(2014-2018).新时代( ...
2021年了，该拥有自己的深度学习框架了
2020国内深度学习框架领域百花齐放.各大公司也都陆续推出了自己的框架,大大推动了深度学习的发展.深度学习俨然已经渗入到我们生活中的每个角落,给生活带来极大便利. 深度学习能够针对生产生活所面临的复杂 ...
Bioinformatics | 预测药物-药物相互作用的多模态深度学习框架
今天给大家介绍来自华中农业大学信息学院章文教授课题组在Bioinformatics上发表的一篇关于预测药物与药物相互作用事件的文章.作者提出了一个多模态深度学习框架- DDIMDL.它将不同的药物特征 ...
Bioinformatics | 预测药物相互作用的多模式深度学习框架
今天给大家介绍华中农业大学信息学院章文教授课题组发表在Bioinformatics的一篇文章" A multimodal deep learning framework for predic ...
热度直逼TensorFlow的深度学习框架，我用它画下女朋友最美的脸
这不,又一个程序员为爱变身灵魂画手,看得我都想学画画了. 阿华是幸运的,因为他找到了对的方法,事半功倍,最终有情人终成眷属.这也得益于 PyTorch 的易学易用,大多数人第一次使用 PyTorch ...
百度嵌入式深度学习框架Paddle-Mobile介绍
本篇内容介绍嵌入式深度学习的应用场景.Paddle-Mobile的特性优势以及使用开发方法,预计阅读时间4分钟嵌入式深度学习有哪些应用深度学习技术已经在互联网的诸多方向产生影响,关于深度学习和神经 ...

深度学习框架有什么作用？

文章目录

1. 什么是深度学习框架

2. 深度学习框架的出现

深度学习框架有什么作用？相关推荐

最新文章

热门文章