《Deep Learning (Ian Goodfellow)》线性代数

2024-05-29 04:11:01

线性代数

1. 部分数学概念

张量（tensor）
一个数组中的元素分布在若干维坐标的规则网格中，称之为张量。
生成子空间（span）
一组向量的生成子空间是原始向量线性组合后所能抵达的点的集合。
范数（norm）
在机器学习中，我们经常使用被称为范数的函数衡量向量大小。
特征分解
将矩阵分解成一组特征向量和特征值。
奇异值分解（SVD）
将矩阵分解为奇异向量和奇异值。
A=UDV⊤A=U D V^{\top} A=UDV⊤这里矩阵DDD只有对角元素，这些元素称为奇异值，是矩阵A∗A⊤A*A^{\top}A∗A⊤特征值的平方根。
Moore-Penrose 伪逆
A+=VD+U⊤A^{+}=V D^{+} U^{\top} A+=VD+U⊤对角矩阵DDD的伪逆D+D^{+}D+是其非零元素取倒数之后再转置得到的

2. 实例

主成分分析（PCA）
- PCA是一种降维的方法
- 原始数据X\boldsymbol{X}X，低维数据C\boldsymbol{C}C，要找到一个编码函数f(X)=Cf(\boldsymbol{X})=\boldsymbol{C}f(X)=C，也要找到一个解码函数X≈g(f(X))\boldsymbol{X} \approx g(f(\boldsymbol{X}))X≈g(f(X))，简化之后得到g(C)=DCg(\boldsymbol{C})=\boldsymbol{D}\boldsymbol{C}g(C)=DC，其中D\boldsymbol{D}D是定义解码的矩阵
- 用范数来找出距离最小的最优编码C\boldsymbol{C}C
  C∗=arg⁡min⁡c∥X−g(C)∥22\boldsymbol{C}^{*}=\arg \min _{\boldsymbol{c}}\|\boldsymbol{X}-g(\boldsymbol{C})\|_{2}^{2}C∗=argcmin∥X−g(C)∥22
- 根据推理可得到最优解为：C=D⊤X\boldsymbol{C}=\boldsymbol{D}^{\top}\boldsymbol{X}C=D⊤X，可以转换为对编码矩阵D\boldsymbol{D}D求最优解
  （限制条件是矩阵DDD的正交性和单位范数约束）
  （下面是书上的公式，d∗d^{*}d∗是降维到一维作为向量的情况）
  （在有些情况下，一般找出数据中心，把数据点移到坐标原点减小计算）
  （在二维数据中，有些是直接设定向量，通过协方差求解C\boldsymbol{C}C的）d∗=arg⁡min⁡d∥X−Xdd⊤∥F2subject to d⊤d=1d^{*}=\underset{d}{\arg \min }\left\|X-X d d^{\top}\right\|_{F}^{2} \text { subject to } d^{\top} d=1d∗=dargmin∥∥X−Xdd⊤∥∥F2 subject to d⊤d=1
- 通过拉格朗日乘数法和特征分解求出最值得到解
- 选择主成分实现数据降维
  （用机器学习实战里的例子来描述的话，可以这样理解，书上描述成修改坐标轴实现数据降维，其实就是特征分解之后，投影到特征向量就是对应的新坐标轴，特征值也就是某一主成分上的投影方差，同时我们可以根据特征值来判断主成分包含的信息量多少，删减信息量占比少的成分，对应的体现出了PCA的几何意义）

《Deep Learning (Ian Goodfellow)》线性代数相关推荐

Deep Learning (Ian Goodfellow, Yoshua Bengio and Aaron Courville) 阅读笔记
Ian Goodfellow, Yoshua Bengio and Aaron Courville 合著的<Deep Learning> 终于写完了,并且放在网上可以在线免费阅读.网址:h ...
Deep Learning ---Ian Goodfellow
Stochastic gradient algorithm(SGA): 随机梯度下降算法. https://blog.csdn.net/kwame211/article/details/8036407 ...
《Deep Learning (Ian Goodfellow)》概率与信息论
概率与信息论 1. 部分数学概念频率派(frequentist) 频率学派从「自然」角度出发,试图直接为「事件」本身建模. 频率派发展出来的模型,一般来说叫做统计机器学习,实际上是一个优化问题: 设 ...
《Deep Learning (Ian Goodfellow)》深度模型的优化
深度模型的优化 ==> 参考文章:梯度下降的可视化解释 1. 梯度下降求解的优化器动量(momentum) 动量借助了物理思想,在物理学上定义为质量乘以速度.想象一下在碗里滚动一个球,不会在底 ...
Deep Learning (Ian Goodfellow, Yoshua Bengio and Aaron Courville)深度学习中英文版本资源
转自 -博客园的zivon:https://www.cnblogs.com/zivon/p/9106966.html 看到CSDN上下载需要10个.20个积分,觉得有点贵并没有下载.然后查了一圈,发现 ...
《Deep Learning (Ian Goodfellow)》机器学习基础
机器学习基础 1. 学习算法任务分类.输入缺失分类.回归.转录.机器翻译.结构化输出.异常检测.合成和采样.缺失值填补.去噪.密度估计或概率质量函数估计经验根据学习过程中的不同经验,机器学习算 ...
(转) Deep Learning Resources
转自:http://www.jeremydjacksonphd.com/category/deep-learning/ Deep Learning Resources Posted on May 13 ...
Deep Learning（Ian Goodfellow） — Chapter1 Introduction
Deep Learning是大神Ian GoodFellow, Yoshua Bengio 和 Aaron Courville合著的深度学习的武功秘籍,涵盖深度学习各个领域,从基础到前沿研究.因为封面 ...
Ian Goodfellow《Deep Learning》读书笔记
Ian Goodfellow<Deep Learning>读书笔记感觉大学快毕业了才开始做一些有用的事情,就当是个小学生吧,由于毕业设计和复试的需要,开始着手一些人工智能方面的内容,毕业 ...

最新文章

热门文章