课程来源：林轩田《机器学习技法》

课程地址：https://www.bilibili.com/video/av12469267/?p=1

1. 深度学习面临的问题
1）结构构造问题：可以引入领域知识，如CNN实际上就是认为，两个像素相邻太远，它们之间的关联就没有太大意义，所以两个神经元不用相连
2. pre-train
1）从浅层开始，一层一层训练，每训练好一层就把权重固定住，这样得到整个深层网络的初始值。这样的好处是可以从较好的点开始进行计算，避免陷入局部最优解
2）那么如何训练两层网络之间的权重？层与层之间其实是特征抽取转换的过程，而一个好的特征转换，应该是能包含各个方面的特征（而不是集中在一个特征上），从而尽可能多地涵盖浅层的信息
3）要尽可能地涵盖信息，可以这么认为，当把浅层的特征转换到深层后，还原回来还能和浅层的特征尽可能相似，那么这个转换是好的。所以可以用自动编码机的方式来做pre-train
4）自动编码器这种转换实际上是在学习数据的典型表示，在有监督学习中可以抽取特征，在无监督可以做密度评估和异常值检测
5）计算方法
3. 提高网络泛化能力的一种方法：给数据中加入杂质。
在自动编码机中，我们不仅仅希望这个转换能还原数据，还希望能起到去noise的作用，所以可以人工加入一些杂质，提高模型的稳健性
4. PCA
1）考虑线性自动编码机，那么此时就不需要tanH了
2）考虑到限制条件，我们可以把两个w看成wij和wji
3）因此得到线性自动编码机的表示形式
4）目标是x和转换后的x的差的平方和尽可能小
5）将WtW做特征分解，特征矩阵是对角线矩阵，其中最多只有d*d~矩阵中较小的那个矩阵维度的值是非0。
对于WWtXn，实际上是先对Xn做空间上的转换，然后把其中一部分值抹0，最后再转换回来
6）优化特征矩阵：
a. 因为红色的V不影响长度，所以可以消去
b. 转化后，是（I-特征矩阵）*向量，为了让这个值最小，那么我们需要特征矩阵尽可能多1，才能把括号内的值变少。因为特征矩阵最多d~个1，所以最值确定了
c. 确定了特征矩阵后，我们需要优化的就只剩下V了
7）优化v
a. 把min问题转换为max问题，min问题是保留尽可能少的，max问题就是remove尽可能多的
b. 将平方式展开后，可以用拉格朗日方式来求。算式对v求导，得到左边；条件对v求导，得到v。两者应该是平行关系，因此加上入
c. 这个算式实际上就是特征根解，入是特征矩阵
d. 要max，那么入留下来的要是最大的那些值
8）线性自动编码优化的转换后的平方差，PCA优化的是转换后x的方差。有一种方式将线性自动变化转换为PCA，就是将x减去x的均值

《机器学习技法》第13课笔记 深度学习相关推荐

  1. 视频教程-从零开始深度学习（仅视频课）-深度学习

    从零开始深度学习(仅视频课) 香港大学硕士.任职经历包括微软中国(Microsoft),今日头条研发中心,联想香港人工智能中心以及联合国亚太分部.现主要工作是利用深度学习实现基于知识图谱的智能问答. ...

  2. 系列笔记 | 深度学习连载（5）：优化技巧（下）

    点击上方"AI有道",选择"星标"公众号 重磅干货,第一时间送达 深度学习中我们总结出 5 大技巧: 本节继续从第三个开始讲起. 3. Early stoppi ...

  3. 系列笔记 | 深度学习连载（4）：优化技巧（上）

    点击上方"AI有道",选择"星标"公众号 重磅干货,第一时间送达 深度学习中我们总结出 5 大技巧: 1. Adaptive Learning Rate 我们先 ...

  4. 系列笔记 | 深度学习连载（2）：梯度下降

    点击上方"AI有道",选择"星标"公众号 重磅干货,第一时间送达 我们回忆深度学习"三板斧": 1. 选择神经网络 2. 定义神经网络的好坏 ...

  5. 回归素材(part9)--PYTHON机器学习手册-从数据预处理到深度学习

    学习笔记,仅供参考,有错必纠 PYTHON机器学习手册-从数据预处理到深度学习 通过正则化减少方差 我们可以使用岭回归或者Lasso回归,介绍回归模型的方差.

  6. 系列笔记 | 深度学习连载（6）：卷积神经网络基础

    点击上方"AI有道",选择"星标"公众号 重磅干货,第一时间送达 卷积神经网络其实早在80年代,就被神经网络泰斗Lecun 提出[LeNet-5, LeCun ...

  7. 人工智能（Artificial Intelligence-AI）、机器学习（Machine Learning）、深度学习（Deep Learning）之间区别

    2020年,不论你是否主动关注AI,机器学习,深度学习还是数据科学,但在媒体的无限吹捧中一定有所耳闻.此处为在Google trend中搜索这些关键字,可见火爆程度逐年增加. 一.人工智能的概念提出到 ...

  8. 【视频课】深度学习最有价值的CV领域，30小时掌握目标检测（附作者经历分享）！...

    前言 欢迎大家关注有三AI的视频课程系列,我们的视频课程系列共分为5层境界,内容和学习路线图如下: 第1层:掌握学习算法必要的预备知识,包括Python编程,深度学习基础,数据使用,框架使用. 第2层 ...

  9. 漫画笔记--深度学习，能让人一图看懂，通俗易懂

    漫画笔记--深度学习,能让人一图看懂,通俗易懂!! 漫画笔记--深度学习,能让人一图看懂,通俗易懂!! 漫画笔记–深度学习,能让人一图看懂,通俗易懂!! 这本漫画笔记很有意思,非常适合初学者学习.除非 ...

最新文章

  1. 「AI科技」机器学习算法之K-means算法原理及缺点改进思路
  2. (0024)iOS 开发之MJExtension可能遇到全部问题
  3. dlp防泄密系统卸载_浙江好用的企业图纸防泄密软件推荐，局域网内部图纸透明加密方案...
  4. php 栈、 出栈、入栈
  5. 2017 《Java技术预备作业 》1501 乔 赫
  6. mysql中的boolean tinyint
  7. DOC学习之TrueFFS
  8. 二维vector容器读取txt坐标
  9. 牛刀小试：使用Reactive Extensions（Rx），对短时间内多次发生的事件限流
  10. 英语学习笔记2019-12-06
  11. rabbitmq安装centos7
  12. 《2021年度中国开发者有奖大调查》首批中奖名单火热出炉，下一个会是你吗？
  13. 【Java】JavaSocket编程开发聊天室-总览与部分客户端界面
  14. Linux下socket编程的简单实例
  15. 文件分割方式 模仿hadoop手写一个工作原理 模仿hadoop filesplit任意切片
  16. SwiftUI SF Symbols 好处及其使用指南
  17. 香港 “一卡通”業務收費表
  18. 【泛函分析】距离空间和赋范空间
  19. SqlServer 数据库修复
  20. 如何防止SP利用欠费进行套利

热门文章

  1. USER_用户_数据库知识点
  2. 关于 Glide 加载图片圆角问题
  3. CMake命令之add_custom_comand 和 add_custom_target
  4. 日志分析---携来百侣曾游，忆往昔峥嵘岁月稠
  5. mysql ley_len计算
  6. Postman+Newman命令运行+Jenkins持续集成
  7. ES6看这一篇就够了
  8. 自己动手写一个推荐系统,推荐系统小结,推荐系统：总体介绍、推荐算法、性能比较, 漫谈“推荐系统”, 浅谈矩阵分解在推荐系统中的应用...
  9. 1079 日K蜡烛图
  10. Mac OS X 系统清理