AI到底有多吃香?推荐一个斯坦福、CMU、清北学生都在上的AI课
市面上有这么一个训练营,聚集了AI领域未来的精英,大部分学员来自QS前100的学校以及BAT,FLAG等公司,这个训练营正是贪心学院的《机器学习高端训练营》,这个训练营的目的很简单:想培养更多高端的人才,帮助那些即将或者目前从事科研的朋友,同时帮助已从事AI行业的提高技术深度。
在本期训练营(第四期)中我们对内容做了大幅度的更新,一方面新增了对前沿主题的讲解如图神经网络(GCN,GAT等),另外一方面对核心部分(如凸优化、强化学习)加大了对理论层面上的深度。除此之外,也会包含科研方法论、元学习、解释性、Fair learning等系列主题。目前在全网上应该找不到类似体系化的课程。课程仍然采用全程直播授课模式。
那什么样的人适合来参加高阶班呢?
从事AI行业多年,但技术上总感觉不够深入,感觉在技术上遇到了瓶颈;
停留在使用模型/工具上,很难基于业务场景来提出新的模型;
对于机器学习背后的优化理论、前沿的技术不够深入;
计划从事尖端的科研、研究工作、申请AI领域研究生、博士生;
打算进入最顶尖的AI公司比如Google,Facebook,Amazon, 阿里,头条等;
读ICML,IJCAI等会议文章比较吃力,似懂非懂感觉,无法把每个细节理解透;
01 课程大纲
第一部分:凸优化与机器学习
第一周:凸优化介绍
从优化角度理解机器学习
优化技术的重要性
常见的凸优化问题
线性规划以及Simplex Method
Two-Stage LP
案例:运输问题讲解
第二周:凸函数讲解
凸集的判断
First-Order Convexity
Second-order Convexity
Operations Preserve Convexity
二次规划问题(QP)
案例:最小二乘问题
项目作业:股票投资组合优化
第三周:凸优化问题
常见的凸优化问题类别
半定规划问题
几何规划问题
非凸函数的优化
松弛化(Relaxation)
整数规划(Integer Programming)
案例:打车中的匹配问题
第四周:对偶(Duality)
拉格朗日对偶函数
对偶的几何意义
Weak and Strong Duality
KKT条件
LP, QP, SDP的对偶问题
案例:经典模型的对偶推导及实现
对偶的其他应用
第五周:优化技术
一阶与二阶优化技术
Gradient Descent
Subgradient Method
Proximal Gradient Descent
Projected Gradient Descent
SGD与收敛
Newton's Method
Quasi-Newton's Method
第二部分 图神经网络
第六周: 数学基础
向量空间和图论基础
Inner Product, Hilbert Space
Eigenfunctions, Eigenvalue
傅里叶变化
卷积操作
Time Domain, Spectral Domain
Laplacian, Graph Laplacian
第七周:谱域的图神经网络
卷积神经网络回归
卷积操作的数学意义
Graph Convolution
Graph Filter
ChebNet
CayleyNet
GCN
Graph Pooling
案例:基于GCN的推荐
第八周:空间域的图神经网络
Spatial Convolution
Mixture Model Network (MoNet)
注意力机制
Graph Attention Network(GAT)
Edge Convolution
空间域与谱域的比较
项目作业:基于图神经网络的链路预测
第九周:图神经网络改进与应用
拓展1: Relative Position与图神经网络
拓展2:融入Edge特征:Edge GCN
拓展3:图神经网络与知识图谱: Knowledge GCN
拓展4:姿势识别:ST-GCN
案例:基于图的文本分类
案例:基于图的阅读理解
第三部分 强化学习
第十周:强化学习基础
Markov Decision Process
Bellman Equation
三种方法:Value,Policy,Model-Based
Value-Based Approach: Q-learning
Policy-Based Approach: SARSA
第十一周:Multi-Armed Bandits
Multi-Armed bandits
Epsilon-Greedy
Upper Confidence Bound (UCB)
Contextual UCB
LinUCB & Kernel UCB
案例:Bandits在推荐系统的应用案例
第十二周:路径规划
Monte-Carlo Tree Search
N-step learning
Approximation
Reward Shaping
结合深度学习:Deep RL
项目作业:强化学习在游戏中的应用案例
第十三周: 自然语言处理中的RL
Seq2seq模型的问题
结合Evaluation Metric的自定义loss
结合aspect的自定义loss
不同RL模型与seq2seq模型的结合
案例:基于RL的文本生成
第四部分 贝叶斯方法
第十四周:贝叶斯方法论简介
贝叶斯定理
从MLE, MAP到贝叶斯估计
集成模型与贝叶斯方法比较
计算上的Intractiblity
MCMC与变分法简介
贝叶斯线性回归
贝叶斯神经网络
案例:基于Bayesian-LSTM的命名实体识别
第十五周:主题模型
生成模型与判别模型
隐变量模型
贝叶斯中Prior的重要性
狄利克雷分布、多项式分布
LDA的生成过程
LDA中的参数与隐变量
Supervised LDA
Dynamic LDA
LDA的其他变种
项目作业:LDA的基础上修改并搭建无监督情感分析模型
第十六周:MCMC方法
Detailed Balance
对于LDA的吉布斯采样
对于LDA的Collapsed吉布斯采样
Metropolis Hasting
Importance Sampling
Rejection Sampling
大规模分布式MCMC
大数据与SGLD
案例:基于分布式的LDA训练
第十七周:变分法(Variational Method)
变分法核心思想
KL散度与ELBo的推导
Mean-Field变分法
EM算法
LDA的变分法推导
大数据与SVI
变分法与MCMC的比较
Variational Autoencoder
Probabilistic Programming
案例:使用概率编程工具来训练贝叶斯模型
第十八周:其他前沿主题
模型的可解释性
解释CNN模型
解释序列模型
Meta Learing
Fair Learning
技术前瞻
●●●
课程其他的细节可以联系课程顾问来获取
添加课程顾问小姐姐微信
报名、课程咨询
????????????
02 部分案例和项目
运输优化问题:在运筹学以及优化领域最为经典的问题之一,类似的思想广泛应用在仓库优化,匹配等问题上。
涉及到的知识点:
线性回归以及优化实现
Two-Stage随机线性规划一下优化实现
打车中的路径规划问题:我们几乎每天都在使用打车软件或者外卖软件。对于这些应用来讲,核心算法应用就是乘客和车辆的匹配。
涉及到的知识点:
Mixed Integer Linear Programming
提供approximation bounds
经典机器学习模型的对偶推导及实现:通过此练习,更深入理解机器学习模型以及对偶的作用。
涉及到的知识点:
SVM,LP等模型
对偶技术
KKT条件
基于图神经网络的文本分类:当使用语法分析工具处理文本之后,一段文本便可以成为一个图,接下来就可以使用图卷积神经网络来做后续的分类工作
涉及到的知识点:
语法分析
图神经网络
基于图神经网络的阅读理解:一般的阅读需要让机器阅读多个文章并对提出的问题给出答案。在阅读理解中抽取关键的实体和关系变得很重要,这些实体和关系可以用来构造一个图。
涉及到的知识点:
命名识别,关系抽取
图神经网络
Heterogeneous Graph
Bandits在推荐系统的应用案例:Bandits应用在顺序决策问题的应用中有易于实现、计算效率高、解决冷启动问题、数据标注相对要求不高(一般只需部分标注作为reward,如用户点击)等优点。本案例讲解bandits如何应用在新闻推荐的系统中做基于内容的推荐。
涉及到的知识点:
Exploration & Exploitation
Epsilon Greedy
Upper Confidential Bounder
LineUCB
使用概率编程工具来训练贝叶斯模型:类似于Pytorch,Tensorflow,概率编程工具提供了对贝叶斯模型的自动学习,我们以LDA等模型为例来说明这些工具的使用。
涉及到的知识点:
概率编程
主题模型
MCMC和变分法
股票投资组合优化:在投资组合优化中,我们需要根据用户的风险承受能力来设计并组合资产。在本项目中,我们试着在二次规划的框架下做一些必要的修改如加入必要的限制条件、必要的正则来控制组合的稀疏性、加入投资中的先验等信息,最后根据预先定义好的评估标准来引导模型的学习
涉及到的知识点:
二次规划
不同的正则使用
基于限制条件的优化
先验的引入
03 授课导师
李文哲:贪心科技创始人兼CEO,人工智能和知识图谱领域专家,曾任金融科技独角兽公司的首席科学家、美国亚马逊的高级工程师,先后负责过聊天机器人、量化交易、自适应教育、金融知识图谱等项目,并在AAAI、KDD、AISTATS等顶会上发表过15篇以上论文,并荣获IAAI,IPDPS的最佳论文奖,多次出席行业峰会发表演讲。分别在USC, TAMU,南开攻读博士、硕士和本科。
杨栋:香港城市大学博士, UC Merced博士后,主要从事于机器学习,图卷积,图嵌入的研究。先后在ECCV, Trans on Cybernetics, Trans on NSE, INDIN等国际顶会及期刊上发表过数篇论文。担任过贪心学院高阶课程的讲师,获得了学员一致的好评。
04直播授课,现场推导演示
区别于劣质的PPT讲解,导师全程现场推导,让你在学习中有清晰的思路,深刻的理解算法模型背后推导的每个细节。更重要的是可以清晰地看到各种模型之间的关系!帮助你打通六脉!
▲源自:LDA模型讲解
▲源自:Convex Optimization 讲解
▲源自:Convergence Analysis 讲解
05 课程安排(以前两周为例)
06 课程适合谁?
大学生
计算机相关专业的本科/硕士/博士生,需要具备一定的机器学习基础
希望能够深入AI领域,为科研或者出国做准备
想在步入职场前,深入AI领域,并把自己培养成T字形人才
在职人士
目前从事AI相关的项目工作,具有良好的机器学习基础
希望打破技术上的天花板,能够有能力去做模型上的创新
以后往资深工程师、研究员、科学家的职业路径发展
07 前两期学员背景
08 以前的学员说什么?
09 入学标准
1、 理工科专业相关本科生、硕士生、博士生。
2、目前从事AI工作。
3、具备良好的Python编程能力。
4、具备一定机器学习基础,零基础学员不太适合。
10 报名须知
1、本课程为收费教学。
2、本期仅招收剩余名额有限。
3、品质保障!正式开课后7天内,无条件全额退款。
4、学习本课程需要具备一定的机器学习基础。
●●●
课程其他的细节可以联系课程顾问来获取
添加课程顾问小姐姐微信
报名、课程咨询
????????????
AI到底有多吃香?推荐一个斯坦福、CMU、清北学生都在上的AI课相关推荐
- GitHub的AI程序员“抄袭”算法大神代码,连原版注释都抄上了
晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI 本周GitHub官方和OpenAI联合发布了一款代码神器AI--GitHub Copilot,只需输入注释,即可自动生成代码,堪称一位&q ...
- ei会议论文录用但不参加会议_科学网—推荐一个录用论文全部发表在EI期刊上的会议 - 徐庆征的博文...
会议网址 http://www1.tyust.edu.cn/yuanxi/yjjg/iwsis2011/iwsis2011.htm 重要日期: Submission Date: March 10, 2 ...
- vue3小野森森-05-createApp,component,mount,unmount,directive指令,use,plugin,推荐一个好的vue3系列教程
1.createApp,component,mount,unmount 许多apllication Api都放在了app实例上(通过createApp创建的实例) 创建一个app实例 const ap ...
- 推荐一个找paper和code的网址
今天给大家推荐一个 https://paperswithcode.com/sota 在这个网站上能找到最新的paper排名还有paper对应的code. 这是计算机视觉的, 自然语言处理 点击物体检测 ...
- 推荐一个免费AI算力平台:OpenI
推荐一个免费AI算力平台:OpenI,支持GPU.NPU训练任务及调试任务,只要注册即可使用,非商业平台的开源社区,由鹏城实验室推出,旨在推广AI. 新手可以参见:zeizei/OpenI_Learn ...
- AI到底如何改变教育?好未来重金押注AI的背后逻辑
安妮 发自 香格里拉饭店 量子位 出品 | 公众号 QbitAI 无AI,不教育,未来关键在开放.这是国内教育第一梯队玩家好未来最新明确的技术方向. 在2019好未来TI教育智能大会上,一连串AI新动 ...
- 有一说一,AI 到底会不会伤害人类?
人工智能的发展过程,如果用谷歌Ngram来衡量,从控制论算起,目前经历了两次高潮. 控制论之后的一次高潮是在20世纪80年代,正是专家系统和日本第五代计算机项目得势的时候.但进入90年代后,人工智能又 ...
- 最全AI学习路线+资源,推荐收藏!
本文由知名开源平台,AI技术平台以及领域专家:Datawhale,ApacheCN,AI有道和黄海广博士联合整理贡献,内容涵盖AI入门基础知识.数据分析\挖掘.机器学习.深度学习.强化学习.前沿Pap ...
- 一文看懂阿里产业AI:三驾马车、一个飞轮
曾震宇 新智元 昨天 新智元报道 演讲人:曾震宇 编辑:肖琴 [新智元导读]产业AI作为核心引擎,驱动数据和业务发展的飞轮,推动业务价值快速增长.阿里云数据智能总经理曾震宇解读了产业AI的关 ...
最新文章
- java基础学习(一)方法
- 【Mongodb】MongoDB
- Reveal使用心法
- Hadoop Hbase适合存储哪类数据?(转)
- 如何求解两个数的最大公约数
- 移动web——touch事件介绍
- xheditor富文本框 存值与展示问题
- XML与HTML的作用不同
- windows2019域控降级退域
- 常见绿盟扫描主机漏洞及修复方案
- matlab输出工作区,matlab保存工作区数据
- OpenCV——图像距离变换
- 今晚 8:00 |深度推荐系统的探索与实践
- 两连杆机器鱼的简单建模以及MATLAB仿真
- 算法:如何判断两颗二叉树是否相等
- fastqc检验时不能执行java_fastqc出现错误
- turtle.write方法使用说明
- 手握13本书、老司机超出120年经验的公众号
- js数据类型强制转换--转换为String
- forward_list
热门文章
- php5.5 mysql密码无法_MySQL密码正确却无法本地登录的解决方法
- oracle 10g rac 修改sga_target不生效,关于请教rac的sga 设置及修改问题
- java.lang包含_原因:java.lang.IllegalArgumentException:包含(1)...
- c#调用python函数_C#调用python脚本的方法步骤(2种)
- cnn stride and padding_Tensorflow学习笔记- 模型建立与训练篇(CNN)
- CF E2 - Daleks' Invasion (medium) (LCA求两点树上路径上的最大边权)
- Python2.x爬虫入门之URLError异常处理
- 20145105 《Java程序设计》第5周学习总结
- 在Netbeans下配置Tomcat manager用户名与密码
- pythin怎么根据月份获取月初和月末_数据统计丨7月份塑料市场明显回暖,8月份是否延续乐观行情?...