来源：https://mp.weixin.qq.com/s/1MM0_wk43WARz4c5WWuzCQ

个人学习收藏，侵删

本文收藏目的是作为机器学习高阶理论的学习路线参考，个人学习时需根据实际情况进行判别和取舍。

课程目标：培养更多高端的人才，帮助那些即将或者目前从事科研或已从事AI行业的朋友提高技术深度。 

知识列表选自贪心科技的《机器学习高端训练营》第5期的宣传广告，课程内容相比往期有大幅更新，一方面新增了对前沿主题的讲解如图神经网络（GCN,GAT等），另外一方面对核心部分（如凸优化、强化学习）加大了对理论层面上的深度。除此之外，也会包含科研方法论、元学习、解释性、Fair learning等系列主题。
以下知识列表可能随着后面的期数发生变动，学习时请随时到搜索引擎搜索更新。

适合人群：

  • 从事AI行业多年，但技术上总感觉不够深入，感觉在技术上遇到了瓶颈； 

  • 停留在使用模型/工具上，很难基于业务场景来提出新的模型； 

  • 对于机器学习背后的优化理论、前沿的技术不够深入；

  • 计划从事尖端的科研、研究工作、申请AI领域研究生、博士生；

  • 打算进入顶尖的AI公司如Google，Facebook，Amazon， 阿里等；

  • 读ICML，IJCAI等会议文章比较吃力，似懂非懂，无法把每个细节理解透；

------------------------------------------------------------------------------------------------------

01 课程大纲

第一部分：凸优化与机器学习

第一周：凸优化介绍

  • 从优化角度理解机器学习

  • 优化技术的重要性

  • 常见的凸优化问题

  • 线性规划以及Simplex Method

  • Two-Stage LP

  • 案例：运输问题讲解

第二周：凸函数讲解

  • 凸集的判断

  • First-Order Convexity

  • Second-order Convexity

  • Operations Preserve Convexity

  • 二次规划问题（QP)

  • 案例：最小二乘问题

  • 项目作业：股票投资组合优化

第三周：凸优化问题

  • 常见的凸优化问题类别

  • 半定规划问题

  • 几何规划问题

  • 非凸函数的优化

  • 松弛化（Relaxation）

  • 整数规划（Integer Programming)

  • 案例：打车中的匹配问题

第四周：对偶（Duality）

  • 拉格朗日对偶函数

  • 对偶的几何意义

  • Weak and Strong Duality

  • KKT条件

  • LP, QP, SDP的对偶问题

  • 案例：经典模型的对偶推导及实现

  • 对偶的其他应用

第五周：优化技术

  • 一阶与二阶优化技术

  • Gradient Descent

  • Subgradient Method

  • Proximal Gradient Descent

  • Projected Gradient Descent

  • SGD与收敛

  • Newton's Method

  • Quasi-Newton's Method

第二部分 图神经网络

第六周： 数学基础

  • 向量空间和图论基础

  • Inner Product, Hilbert Space

  • Eigenfunctions, Eigenvalue

  • 傅里叶变化

  • 卷积操作

  • Time Domain, Spectral Domain

  • Laplacian, Graph Laplacian

第七周：谱域的图神经网络

  • 卷积神经网络回归

  • 卷积操作的数学意义

  • Graph Convolution

  • Graph Filter

  • ChebNet

  • CayleyNet

  • GCN

  • Graph Pooling

  • 案例：基于GCN的推荐

第八周：空间域的图神经网络

  • Spatial Convolution

  • Mixture Model Network (MoNet)

  • 注意力机制

  • Graph Attention Network(GAT)

  • Edge Convolution

  • 空间域与谱域的比较

  • 项目作业：基于图神经网络的链路预测

第九周：图神经网络改进与应用

  • 拓展1:   Relative Position与图神经网络

  • 拓展2：融入Edge特征：Edge GCN

  • 拓展3：图神经网络与知识图谱: Knowledge GCN

  • 拓展4：姿势识别：ST-GCN

  • 案例：基于图的文本分类

  • 案例：基于图的阅读理解

第三部分 强化学习

第十周：强化学习基础

  • Markov Decision Process

  • Bellman Equation

  • 三种方法：Value，Policy，Model-Based

  • Value-Based Approach: Q-learning

  • Policy-Based Approach: SARSA

第十一周：Multi-Armed Bandits

  • Multi-Armed bandits

  • Epsilon-Greedy

  • Upper Confidence Bound (UCB)

  • Contextual UCB

  • LinUCB & Kernel UCB

  • 案例：Bandits在推荐系统的应用案例

第十二周：路径规划

  • Monte-Carlo Tree Search

  • N-step learning

  • Approximation

  • Reward Shaping

  • 结合深度学习：Deep RL

  • 项目作业：强化学习在游戏中的应用案例

第十三周: 自然语言处理中的RL

  • Seq2seq模型的问题

  • 结合Evaluation Metric的自定义loss

  • 结合aspect的自定义loss

  • 不同RL模型与seq2seq模型的结合

  • 案例：基于RL的文本生成

第四部分 贝叶斯方法

第十四周：贝叶斯方法论简介

  • 贝叶斯定理

  • 从MLE, MAP到贝叶斯估计

  • 集成模型与贝叶斯方法比较

  • 计算上的Intractiblity

  • MCMC与变分法简介

  • 贝叶斯线性回归

  • 贝叶斯神经网络

  • 案例：基于Bayesian-LSTM的命名实体识别

第十五周：主题模型

  • 生成模型与判别模型

  • 隐变量模型

  • 贝叶斯中Prior的重要性

  • 狄利克雷分布、多项式分布

  • LDA的生成过程

  • LDA中的参数与隐变量

  • Supervised LDA

  • Dynamic LDA

  • LDA的其他变种

  • 项目作业：LDA的基础上修改并搭建无监督情感分析模型

第十六周：MCMC方法

  • Detailed Balance

  • 对于LDA的吉布斯采样

  • 对于LDA的Collapsed吉布斯采样

  • Metropolis Hasting

  • Importance Sampling

  • Rejection Sampling

  • 大规模分布式MCMC

  • 大数据与SGLD

  • 案例：基于分布式的LDA训练

第十七周：变分法（Variational Method)

  • 变分法核心思想

  • KL散度与ELBo的推导

  • Mean-Field变分法

  • EM算法

  • LDA的变分法推导

  • 大数据与SVI

  • 变分法与MCMC的比较

  • Variational Autoencoder

  • Probabilistic Programming

  • 案例：使用概率编程工具来训练贝叶斯模型

第十八周：其他前沿主题

  • 模型的可解释性

  • 解释CNN模型

  • 解释序列模型

  • Meta Learing

  • Fair Learning

  • 技术前瞻

机器学习高阶理论知识列表相关推荐

  1. 机器学习领域综述大列表：真的很大， 你忍一忍

    作者 | kaiyuan 整理 | NewBeeNLP 标题紧跟时事,皮一下 继续来给大家分享github上的好东西,一个『机器学习领域综述大列表』,涵盖了自然语言处理.推荐系统.计算机视觉.深度学习 ...

  2. 重构机器学习算法的知识体系 - 《终极算法》读书笔记

    2019独角兽企业重金招聘Python工程师标准>>> 最近有幸从图书馆借阅了Pedro Domingos的<The Master Alogrithm>一书,这本书的中文 ...

  3. 【信息系统项目管理师】高项知识框架--考点大汇总

    [信息系统项目管理师]高项知识框架–考点大汇总 章节 管理领域 过程说明 输入输出 工具技术 项目文档 流程步骤 概念分类 控制审计 知识点汇总 第二章 管理基础 - - - - - 11 - 11 ...

  4. 机器学习高阶训练，构建AI核心技术壁垒

    如果现在一个面试官让你从零推导SVM的Dual.从零实现CRF.推导LDA.设计一个QP问题.从零编写XLNet.编写GCN/GNN.改造SkipGram模型.用一天时间复现一篇顶级会议.... 这些 ...

  5. 机器学习的相关知识的简介

    机器学习的相关知识与介绍 后面有机器学习生活应用的例子 *阿尔法狗( AlphaGo )是一款围棋人工智能程序,由谷歌( Google) ! : 旗下 De叩Mind 公司的戴密斯·哈萨比斯.大卫·席 ...

  6. 学习笔记：MySQL高阶知识体系（下）——索引、锁、日志、隔离级别与MVCC

    转载自https://www.ydlclass.com/doc21xnv/database/mysqladvance/mysqlAdvance2.html MySQL高阶知识体系(下) 6. 索引 6 ...

  7. 网络空间安全专业（代码:0839）国内外高水平期刊列表

    网络空间安全是一门普通高等学校本科专业,属计算机类专业,基本修业年限为四年,授予工学学士学位. 该专业培养德.智.体等全面发展,掌握网络空间安全理论基础和专业知识,熟悉相关领域发展动态,具有强的工程实 ...

  8. 机器学习之琐碎知识(代码运行问题)

    机器学习之琐碎知识 1.python代码中忽略警告 2.python在画图时显示中文 1.python代码中忽略警告 解决方案: import warnings warnings.filterwarn ...

  9. 健康知识大全api 取得最新的知识列表

    健康知识大全api,最新健康知识,通过当前最新的ID,取得最新的知识列表.通过该方法可以做到数据的不重复! 接口名称:健康知识大全api 接口平台:开源接口 接口地址:http://japi.juhe ...

最新文章

  1. 查找表存在于那些proc中
  2. Java的加载与执行原理详解 Java程序从编写到最终运行经历了哪些过程
  3. Linux 设备驱动开发 —— 设备树在platform设备驱动中的使用
  4. 48张图|手摸手教你性能监控、压测和调优
  5. CentOS查看系统连接状态
  6. cusparseScsrsv_analysis函数导致内存暴涨问题
  7. github创建maven项目过程
  8. Linux命令简写和全称-2
  9. 滑动菜单栏（一）开源项目SlidingMenu的使用
  10. HomeBrew 镜像加速
  11. 关于STM8L系列低功耗井盖板设计记录【云南昆明电子设计开发工程师】
  12. 获取设备的sn号，mac地址以及IP地址
  13. HTML5网页点击分享到whatsapp
  14. android系统apk文件,如何安装apk文件 安卓手机apk文件安装方法
  15. 磁盘介质受写入保护（非u盘）解决办法
  16. 「 强烈推荐」程序员必备14款GIF制作的工具
  17. 钢铁侠或漫威中有哪些黑科技？
  18. 【Android 逆向】ART 脱壳 ( dex2oat 脱壳 | /art/dex2oat/dex2oat.cc#Dex2oat 函数源码 )
  19. Python Class 05-字符串
  20. 关于出差，也是外包的一些事情

热门文章

  1. Struts2 ValueStack ActionContext OGNL 关系
  2. 最简单的视音频播放演示样例4：Direct3D播放RGB（通过Texture）
  3. 小程序canvas头像不显示解决办法
  4. 学做安卓一键锁屏应用
  5. git 上传空文件夹
  6. 宠物识别api接口全开放：狗脸识别、猫脸识别、鼻纹识别、品种识别、相似度比对、图片质量检测
  7. 模拟量、数字量与开关量的区别
  8. 最新研究：朝九晚五可能会让你的身心受到巨大伤害！
  9. 智能建筑中的机房空调与新风系统
  10. python读csv最快方法_python读有汉字的csv如何让python变得更快？