Yann Lecun纽约大学《深度学习》2020课程笔记中文版,干货满满!
关注上方“深度学习技术前沿”,选择“星标公众号”,
资源干货,第一时间送达!
【导读】Yann Lecun在纽约大学开设的2020春季《深度学习》课程,干货满满。在课程网站上出了最新的中文版课程笔记。
本课程涉及深度学习和表示学习的最新技术,重点包括监督式深度学习和无监督深度学习、(词)嵌入、度量学习、卷积和递归网络,以及在计算机视觉、自然语言理解和语音识别方面的应用。先修课程包括:DS-GA 1001 数据科学入门 或一门研究生级别的机器学习课程。
目录内容:
第一周
讲座 A 部分:关于深度学习背后动力的讨论。我们从深度学习的历史和想法开始谈起,之后讨论模式识别的历史,以及梯度下降和其反向传播计算。最后,我们会讨论视皮质的层级结构。
讲座 B 部分:我们首先会讨论从福岛邦彦到 LeCun 再到 AlexNet 过程中卷积神经网络 (CNN) 的演变。之后我们会讨论 CNN 的实际应用,例如图像分割、自动驾驶和医学影像分析。我们还会讨论深度网络的层级性质和使其具有优势的特性。最后,我们会讨论特征/表现的生成和学习。
动手做:我们会讨论将数据点在空间中可视化的动机。我们还会谈到以及线性代数以及线性变换和非线性变换的应用。我们会讨论利用可视化来更好的理解函数及其变换效果。之后我们会在 Jupyter Notebook 中贯穿示例,最后会讨论以神经网络为代表的函数。
第二周
讲座 A 部分:我们从理解什么是参数化的模型开始,然后讨论什么是损失函数。之后我们会涉及基于梯度的方法以及这些方法是如何被应用到传统神经网络中的反向传播算法中。最后,我们会学习如何使用PyTorch实现一个神经网络以及讨论一种反向传播的更广义的形式。
讲座 B 部分:我们从一个反向传播的具体例子开始,进而讨论Jacobian矩阵的维度。然后,我们会着眼于多种基础神经网络模块并计算它们的梯度,之后对softmax和logsoftmax进行简短的讨论。最后会在这个部分学习一些反向传播的实用技巧。
动手做:我们给出了使用(人工)神经网络进行监督学习的简介,阐述相关问题的形成以及训练这些网络所用的经典数据。我们也讨论了如何训练一个神经网络来解决多分类问题,以及在该网络训练好之后如何使用它进行推断
第三周
讲座A部分:首先,我们会看到一个6层神经网络的可视化。接着,我们将开始卷积和卷积神经网络(CNN)的主题。我们先回顾了CNN中几种类型的参数变换,引入了卷积核的想法,将其用于以层次化的方式学习特征,进而将输入数据进行分类,以上正是CNN的基本思想。
讲座B部分:我们将介绍CNN的演变。我们通过举例MNIST上的手写数字识别任务,使用LeNet5的现代实现对CNN架构进行细致的讨论。基于CNN的设计原理,我们讲述了CNN的优势:充分探索了自然图像的组合性、稳定性、局域性特征。
动手做:我们对使用人工神经网络进行监督学习给出简单介绍。我们详细讲述了问题定义和用于训练网络的数据规约。我们还讨论了如何为多分类任务训练一个神经网络,并在网络训练完成后如何进行推断。
第四周
动手做:我们首先对线性代数做一个简要回顾,然后利用音频数据作为例子将讨论扩展到卷积这个主题。如局部性、平稳性、Toeplitz矩阵这样的关键概念将会被不断重复。接着我们会给出一个基音分析中卷积性能的现场演示。最后,我们简单讨论一下不同数据的维度问题
第五周
讲座A部分:我们以介绍梯度下降算法开始。我们将讨论它的目的以及讨论步长大小在获得解答中所起到的重要作用。然后我们将继续介绍随机梯度下降算法以及它和全批次梯度下降算法比较下的表现。最后我们将讨论动量更新,明确使用动量背后的两条更新规则和目的,以及它对收敛的影响
讲座B部分:我们将讨论适用于随机梯度下降的方法,比如RMSprop优化算法和ADAM优化算法。我们也会讨论归一化层和它们在神经网络训练进程中的作用。最后,我们将讨论一个神经网络在工业中使核磁共振扫描更快和更有效的例子。
动手做:我们将简单复习一下矩阵乘法然后讨论卷积。我们使用卷积核的关键是通过堆叠和滑动。我们先通过手写推导理解一维卷积,然后使用PyTorch学习卷积核的维度以及一维和二维卷积例子中的输出宽度。更多地,我们使用PyTorch学习自动梯度和自定义梯度是如何运作的。
第六周
讲座A部分:我们讨论过卷积神经网络的三个应用。我们从数字识别开始,然后到5位邮政编码识别。在「物体识别」中,我们讨论了如何在面部检测设置中使用多尺度体系结构。最后,我们看到卷积网也在机械人视觉系统和在城市环境中的「图像语义分割」中,這些也作为其中之一的具体例子中实际用到。
讲座B:我们研究了各种递归归零神经网络,它们的问题,以及改善这些问题的常用方法。然后,我们回顾了各种不同的模組,它們都是开发来解决递归归零神经网络(RNN)模型的问题。包括注意模組(Attention),门控循环单元(Gated Recurrent Unit或简称GRU),长短期记忆(Long Short-Term Memory或简称LSTMs )和序列对序列(Seq2Seq)。
实习:我们讨论了简单基本版递归神经网络(RNN)和长短期记忆(LSTM)的模型结构,并比较了两者之间的性能。长短期记忆网路继承了递归神经网络的优点,同时改善了递归神经网络弱点,它的方法就是用记忆单元将信息长时间存储在记忆中。所以 长短期记忆网路显著地优于递归神经网络
课程部分内容如下:
资源传送带
请关注深度学习技术前沿公众号
后台回复“NewYork_DL” 就可以获取《Yann Lecun纽约大学《深度学习》2020课程笔记》下载链接
重磅!深度学习技术前沿-微信群已成立
扫码添加群助手,可申请加入 深度学习技术前沿 微信群,旨在交流深度学习方面的学习、科研、工程项目等内容,其中研究方向主要包括:图像识别、图像分类、目标检测、图像分割、人脸识别、模型剪枝与压缩、自然语言处理、知识图谱、强化学习、NAS、GAN等。并且还会第一时间在群中分享一线大厂求职内推资料。
一定要备注:研究方向+学校/公司+姓名(如图像分割+浙大+李四),按照格式备注,可更快被通过且邀请进群。(广告商、博主请绕道!)
???? 长按识别,即可加群
???? 长按识别,即可关注
Yann Lecun纽约大学《深度学习》2020课程笔记中文版,干货满满!相关推荐
- 纽约大学深度学习PyTorch课程笔记(自用)Week3
纽约大学深度学习PyTorch课程笔记Week3 Week 3 3.1 神经网络参数变换可视化及卷积的基本概念 3.1.1 神经网络的可视化 3.1.2 参数变换 一个简单的参数变换:权重共享 超网络 ...
- 纽约大学深度学习PyTorch课程笔记(自用)Week6
纽约大学深度学习PyTorch课程笔记Week6 Week 6 6.1 卷积网络的应用 6.1.1 邮政编码识别器 使用CNN进行识别 6.1.2 人脸检测 一个多尺度人脸检测系统 6.1.3 语义分 ...
- 纽约大学深度学习PyTorch课程笔记(自用)Week2
纽约大学深度学习PyTorch课程笔记Week2 2. Week2 2.1 梯度下降和反向传播算法导论 2.1.1 梯度下降优化算法 参数化模型 梯度下降 2.1.2 在传统神经网络中随机梯度下降和反 ...
- Coursera吴恩达《神经网络与深度学习》课程笔记(3)-- 神经网络基础之Python与向量化
红色石头的个人网站:redstonewill.com 上节课我们主要介绍了逻辑回归,以输出概率的形式来处理二分类问题.我们介绍了逻辑回归的Cost function表达式,并使用梯度下降算法来计算最小 ...
- 收藏 | Yann Lecun纽约大学《深度学习》2020课程笔记中文版
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 仅作分享,不代表本公众号立场,侵权联系删除 转载于:专知 AI博士笔记系列推荐 周志华<机器学习>手推笔 ...
- Coursera吴恩达《神经网络与深度学习》课程笔记(5)-- 深层神经网络
红色石头的个人网站:redstonewill.com 上节课我们主要介绍了浅层神经网络.首先介绍神经网络的基本结构,包括输入层,隐藏层和输出层.然后以简单的2 layer NN为例,详细推导了其正向传 ...
- 完结撒花!吴恩达DeepLearning.ai《深度学习》课程笔记目录总集
作者: 大树先生 博客: http://blog.csdn.net/koala_tree 知乎:https://www.zhihu.com/people/dashuxiansheng GitHub:h ...
- Coursera吴恩达《神经网络与深度学习》课程笔记(1)-- 深度学习概述
红色石头的个人网站:redstonewill.com 吴恩达(Andrew Ng)相信大家都不陌生了.8 月 8 日,吴恩达在他自己创办的在线教育平台 Coursera 上线了他的人工智能专项课程(D ...
- Yann Lecun 纽约大学Spring2020深度学习课程,附66页PPT下载
本课程涉及深度学习和表示学习的最新技术,重点是有监督和无监督的深度学习.嵌入方法.度量学习.卷积网和递归网,并应用于计算机视觉.自然语言理解和语音识别. Yann LeCun 在人工智能研究领域,Ya ...
最新文章
- 【2018第五届世界互联网大会】世界互联网领先科技成果发布:带你看看这15项“黑科技”...
- dell笔记本耳机怎么设置_win10笔记本怎么设置合上盖子不休眠
- 《转》python学习--基础上
- C语言stdio相关的几个函数
- 信息学奥赛一本通 1007:计算(a+b)×c的值 | OpenJudge NOI 1.3 02
- 送给即将春秋招的同学--一名服务端开发工程师的校招面经总结
- Badboy录制及参数化详细步骤来一波
- 二层、三层、四层交换的比较
- 原生js更改html,原生js更改css样式的两种方式
- SpringBoot 2.0 整合Mybatis详细步骤
- 使用阿里云加速器 配置 Docker 镜像加速器
- 旧电脑装什么系统最快_旧电脑装什么系统好_老旧电脑适合装什么操作系统
- foxmail创建html模板,化繁为简--轻轻松松用模板之FOXMAIL篇
- 剑指Offer对答如流系列 - 剪绳子
- uniapp 表格组件,冻结首行首列
- iOS平台游戏安全之IPA破解原理及防御
- 电脑连接上wifi,但是无法打开网页上网,小记
- TypeScript 之 More on Functions
- servlet:共享资源造成的线程冲突
- 希尔伯特谱、边际谱、包络谱、瞬时频率/幅值/相位——Hilbert分析衍生方法及MATLAB实现