AI开学第一课!CMU深度学习秋季课程开课了(附PPT 、视频)
来源:新智元
本文约1000字,建议阅读5分钟。
本课程内容涵盖了深度学习的基础内容,以及较新的强化学习、GAN等。
[ 导读 ]CMU深度学习秋季课程开课了!课程的主讲老师是深度学习大牛、CMU计算机学院的Bhiksha Raj,课程内容涵盖了深度学习的基础内容,以及较新的强化学习、GAN等。
在深度学习研究领域CMU一直走在世界前列,其课程几乎是入门首选材料,课程的slides和video将随着课程进度陆续公开,想要系统地学习并掌握深度学习的读者千万不要错过。
课程简介
以深度神经网络为代表的“深度学习”系统越来越多地在各种AI任务中大显神威,包括语言理解、语音和图像识别、机器翻译、规划、甚至游戏和自动驾驶。因此,掌握深度学习方面的专业知识已经逐渐从高深莫测转变为现在许多高级学术问题中必须掌握的背景知识,并且深度学习人才在就业市场中也有很大的优势。
在这个课程中,我们将学习深度神经网络的基础知识,以及它们在各种AI任务中的应用。在课程结束后,学生将对课程主题有足够的了解,并能够将深度学习应用于各种任务。学生还将阅读当前关于该领域的大量文献,并通过进一步的研究扩展自己的专业知识。
这门课程涉及的概念很全面。它将帮助学生理解深度学习的基础。课程从MLP(多层感知器)讲始,逐步深入到更复杂的概念,例如注意力模型和sequence-to-sequence模型。学生需要完全掌握PyTorch,这对于实现深度学习模型非常重要。
作为学生,你将学习构建深度学习模型所需的各种工具。作业通常有两个部分,即Autolab和Kaggle。Kaggle部分允许我们探索多种架构,并了解如何调优并持续改进模型。所有作业的任务都是相似的,学习如何使用多种深度学习方法解决相同的任务是很有趣的。总的来说,在本课程结束时,你将有足够的信心构建和调优深度学习模型。
课程导师:
Bhiksha Raj(bhiksha@cs.cmu.edu)
助教:
Ryan Brigden (rbrigden@andrew.cmu.edu)
Raphael Franck Olivier (rolivier@andrew.cmu.edu)
Sai Nihar Tadichetty (ntadiche@andrew.cmu.edu)
Shubham Tripathi (shubhamt@andrew.cmu.edu)
Soham Ghosh (sohamg@andrew.cmu.edu)
Madhura Das (madhurad@andrew.cmu.edu)
Ipsita Prakash (iprakash@andrew.cmu.edu)
Dhruv Shah (ddshah@andrew.cmu.edu)
Shaden Shaar (sshaar@andrew.cmu.edu)
David Zhang (davidz1@andrew.cmu.edu)
Anushree Prasanna Kumar (apkumar@andrew.cmu.edu)
Ahmed Shah (mshah1@andrew.cmu.edu)
Jiawei Yang (jiaweiy@andrew.cmu.edu)
Omar Khattab for Doha (okhattab@cmu.edu)
Nebiyou Yismaw for Kigali (nyismaw@andrew.cmu.edu)
先修要求
1. 我们将使用一个主流的工具包中(主要是PyTorch)。工具包主要用Python编程。你需要能够使用至少一种语言进行编程。或者,你可以使用熟悉的语言进行编程,但必须自行查找和学习对应的工具包。
2. 你需要熟悉基本的微积分(微分,链式法则),线性代数和基本概率知识。
教材
这门课程不会按照某一本教材来进行,而是会选择许多资料。我们列出相关书目,并且会为每个单元提供相关阅读资料的链接。学生需要在上课前熟悉这些材料。阅读材料有时会晦涩难懂;但是不用担心,我们会在课堂上给出更简单的解释。
讨论板:Piazza
我们使用 Piazza 进行讨论,链接:
https://piazza.com/class/jhyyudofj9u4za
你可以在这里了解当前文献中的模型目录:
https://www.datasciencecentral.com/profiles/blogs/concise-visual-summary-of-deep-learning-architectures
如果现在还不能完全理解,我们希望在课程结束时,你能够理解wiki和目录上的多数模型架构。
Kaggle:
Kaggle是一个很受欢迎的数据科学平台,参与者通过竞赛创造学习或分析一个数据集的最佳模型。本课程的作业将需要把评估结果提交到Kaggle leaderboard。
相关书目
Deep Learning By Ian Goodfellow, Yoshua Bengio, Aaron Courville Online book, 2017
Neural Networks and DeepLearning By Michael Nielsen Online book, 2016
Deep Learning with PythonBy J. Brownlee
Deep Learning Step by Step with Python: A Very Gentle Introduction to Deep Neural Networks for Practical Data Science By N. D. Lewis
Parallel Distributed Processing By Rumelhart and McClelland Out of print, 1986
课程内容
第 1 讲(8.29):
深度学习简介
课程安排
神经计算的历史和认知基础
感知机和多层感知机
Slides:
http://deeplearning.cs.cmu.edu/slides/lec1.intro.pdf
Video:
https://www.youtube.com/watch?v=aPY-KC6zeeI
第 2 讲(8.31):
神经网络:一个通用的近似器
Slides:
http://deeplearning.cs.cmu.edu/slides/lec2.universal.pdf
第 3 讲(9.5):
训练一个神经网络
感知器学习法则
经验风险最小化
利用梯度下降法进行优化
第 4 讲(9.10):
反向传播
反向传播的微积分学
第 5 讲(9.12):
神经网络的收敛问题
收敛速度
损失函数
学习率和优化方法
RMSProp, Adagrad, Momentum
第 6 讲(9.17):
随机梯度下降
加速
过拟合和正则化
小技巧:选择散度 (损失) 函数、Batch normalization,Dropout
第 7 讲(9.19):
训练回顾
学生Q&A
第 8 讲(9.24):
继续优化问题
第 9 讲(9.26):
卷积神经网络(CNNs)
Weights as templates
平移不变性
使用参数共享进行训练
第 10 讲(10.1):
视觉模型
神经认知机(Neocognitron)
CNN 的数学细节
Alexnet,Inception,VGG
第 11 讲(10.3):
循环神经网络(RNNs)
序列建模
通过时间反向传播
双向 RNN
第 12 讲(10.8):
模型稳定性
梯度爆炸 / 消失
长短期记忆单元(LSTM)及其变种
Resnets
第 13 讲(10.10):
循环网络的损失函数
序列预测
第 14 讲(10.15):
序列到序列方法
联结主义时间分类器(CTC)
第 15 讲(10.17):
序列到序列模型、注意力模型(语音和语言的示例)
第 16 讲(10.22):
网络代表什么?
自动编码器和降维
学习表示
第 17 讲(10.24):
变分自动编码器(VAE)
第 18 讲(10.29):
生成对抗网络(GANs)第一部分
第 18 讲(10.31):
生成对抗网络(GANs)第二部分
第 19 讲(11.5):
Hopfield 神经网络
玻尔兹曼机(Boltzmann Machines)
第 20 讲(11.7):
训练 Hopfield 网络
随机 Hopfield 网络
第 21 讲(11.12):
受限玻尔兹曼机
深度玻尔兹曼机
第 22 讲(11.14):
强化学习 1
第 23 讲(11.19):
强化学习 2
第 24 讲(11.21):
感恩节假期
第 25 讲(11.26):
强化学习 3
第 26 讲(11.28):
强化学习 4
第 27 讲(12.3):
强化学习 4
Q 学习
深度 Q 学习
第 28 讲(12.5):
新模型以及深度学习的趋势
课程回顾
CMU深度学习第一课PPT节选
更多资料请查看官网:
http://deeplearning.cs.cmu.edu/
AI开学第一课!CMU深度学习秋季课程开课了(附PPT 、视频)相关推荐
- 【推荐实践】微博在线机器学习和深度学习实践(文末附PPT下载链接)
更多细节请关注公众号并回复"微博",获取下载链接. 「 更多干货,更多收获 」 推荐系统系列教程之十二:Facebook是怎么为十亿人互相推荐好友的? [干货]史上最全个性化推荐技 ...
- 斯坦福大学2019年NLP课程上线,下周二开课 | 附PPT+视频
晓查 发自 凹非寺 量子位 出品 | 公众号 QbitAI 斯坦福2019年的深度学习NLP课程开课啦!从1月8日开始,每周二和周四下午,都会有一节长达2小时20分钟的讲座.课程的PPT和视频资源将 ...
- 百度AI快车道—企业深度学习实战营,推荐系统主题专场即将开课
身处信息过载的时代,在各大门户网站上,每天会有十万左右的新闻报道产出,京东淘宝等购物平台每小时就有上百万的商品上架出售,在B站.优酷.爱奇艺.搜狐等视频网站上每秒就有几百个小时的视频上线.所有人都正在 ...
- 【完结】有三AI阿里云的深度学习基础课程暂时完结,欢迎扩散学习
2021年3月份有三AI与阿里天池联合推出了深度学习系列课程, 课程内容包括人工智能与深度学习发展背景,深度学习典型应用,卷积神经网络,循环神经网络,生成对抗网络,深度学习开源框架等内容,目前已经基本 ...
- 吴恩达Deeplearning.ai课程学习全体验:深度学习必备课程 By 路雪2017年8月14日 11:44 8 月 8 日,吴恩达正式发布了 Deepleanring.ai——基于 Cours
吴恩达Deeplearning.ai课程学习全体验:深度学习必备课程 By 路雪2017年8月14日 11:44 8 月 8 日,吴恩达正式发布了 Deepleanring.ai--基于 Course ...
- 动手学深度学习在线课程-跟着李沐学AI
动手学深度学习在线课程-跟着李沐学AI http://courses.d2l.ai/zh-v2/ 李宏毅<机器学习>中文课程(2022) https://hub.baai.ac.cn/vi ...
- 百度 AI Studio——《高层API助你快速上手深度学习》课程学习1
百度 AI Studio--<高层API助你快速上手深度学习>课程学习1 该系列文章系个人读书笔记及总结性内容,任何组织和个人不得转载进行商业活动! 相关链接: 飞桨:飞桨开源框架(Pad ...
- 干货 | 吴恩达亲自为这份深度学习专项课程精炼图笔记点了赞!(附下载)
来源:机器之心.AI有道 本文约7500字,建议阅读10+分钟. 本文整理了深度学习基础.卷积网络和循环网络的学习笔记,附下载哦~ [ 导读 ]吴恩达在推特上展示了一份由 TessFerrandez ...
- 【人工智能】深度学习专项课程精炼图笔记!必备收藏
本文为人工智能学习笔记记录 ,参考机器之心,AI有道,Google资源 目录 深度学习基础 1. 深度学习基本概念 2. logistic 回归 3. 浅层网络的特点 4. 深度神经网络的特点 5. ...
最新文章
- c语言写的跳转心理测试,求各位大神赐教!我做了一个“心理测试的答题卷”编程,总共有1...
- MyDAL - .IsExistAsync() 使用
- 突破Outlook2003附件格式限制
- iframe出现双层滚动条解决方案
- Java集合之EnumSet
- 基于Java+SpringMvc+vue+element实现高效学生社团平台管理
- nsx很可爱的公众号 vSAN 文章合集
- Android-导航栏特效-新闻类APP(仿iOS版网易新闻今日头条的文字渐变缩放特效)
- SpringBoot(一)启动相关
- CentOS7安装Oracle11.2.0.4
- java sql 结果_Java 获取SQL查询语句结果
- 接着前几期内容继续对单片机怎么学习来做一个了解
- OSChina 周三乱弹 ——送你们个漂亮妹子!
- 被退回的劳务派遣工需要支付补偿金吗?
- 鹏城实验室麒麟V10飞腾2000+体验
- 星际蜗牛矿难机,j1900 4核+4G内存+16Gssd硬盘,群晖6.1,SSD引导成功
- 数学之美:数学究竟是如何深入我们的生活
- 线性回归与逻辑回归的原理、计算步骤、区别、联系
- The Shawshank Redemption-10
- 流程配置中,什么是会签/或签(竞签)
热门文章
- Powercli 批量获取vmhost 时间
- Android 截取当前Activity并转成Bitmap
- 验证码识别,发票编号识别(转)
- Directive全面分析
- Codeforces Round #323 (Div. 2) A. Asphalting Roads
- UVA 11491 Erasing and Winning 奖品的价值 (贪心)
- Java操作json的通用类
- oracle cpu分配,CPU 分配 - Oracle VM Server for SPARC 2.0 管理指南
- matlab解决多旅游商问题,多旅行商问题的matlab程序
- mysql是如何管理数据_【MySQL】如何管理数据库