吴恩达教授机器学习笔记【一】- 线性回归(2)
本节为吴恩达教授机器学习课程笔记第一部分:线性回归(2)，最小化J的形式化推导，包括：矩阵求导及基于此的最小均方推导。
2. 正规方程
梯度下降算法给出了最小化JJJ的一种方式，这里给出更加形式化的一种方式，在此之前，先在2.1中给出一些线性代数的结论。
2.1 矩阵求导
fff是一个从m×nm \times nm×n矩阵到实数的映射，fff对矩阵AAA的导数计算如下：
可以看出梯度本身也是一个m×nm \times nm×n阶的矩阵，比如有矩阵：
f(A)=32A11+5A122+A21A22f(A)=\frac32A_{11}+5A^2_{12}+A_{21}A_{22}f(A)=23A11+5A122+A21A22，则：
矩阵的迹
对于满秩矩阵/非奇异矩阵（行列式不为0）有：
以上，接下来可以重新审视最小均方
2.2 重新审视最小均方
训练集可以分为两部分，设计矩阵和标签向量：
由于hθ(x(i))=(x(i))Tθh_{\theta}(x^{(i)})=(x^{(i)})^T\thetahθ(x(i))=(x(i))Tθ，可得：
由于：
可得：
根据2.1节中的公式，有：
第三行变换是基于实数的迹是其本身，第四行变换基于矩阵转置，迹不变，第五行变化基于2.1中公式，令：
为了最小化JJJ，令导数为0，得到：
即使得JJJ取最小值的θ\thetaθ为：
欢迎扫描二维码关注微信公众号 深度学习与数学 [每天获取免费的大数据、AI等相关的学习资源、经典和最新的深度学习相关的论文研读，算法和其他互联网技能的学习，概率论、线性代数等高等数学知识的回顾]
吴恩达教授机器学习笔记【一】- 线性回归(2)相关推荐
- 【吴恩达】机器学习(1)：线性回归
原文链接 这里介绍机器学习的基本概念以及线性回归模型. 基本概念 1959年,IBM科学家Arthur Samuel开发了一个跳棋程序.通过这个程序,塞缪尔驳倒了普罗维登斯提出的机器无法超越人类,像人 ...
- 吴恩达《机器学习》学习笔记四——单变量线性回归（梯度下降法）代码
吴恩达<机器学习>学习笔记四--单变量线性回归(梯度下降法)代码 一.问题介绍 二.解决过程及代码讲解 三.函数解释 1. pandas.read_csv()函数 2. DataFrame ...
- 吴恩达《机器学习》学习笔记三——多变量线性回归
吴恩达<机器学习>学习笔记三--多变量线性回归 一. 多元线性回归问题介绍 1.一些定义 2.假设函数 二. 多元梯度下降法 1. 梯度下降法实用技巧:特征缩放 2. 梯度下降法的学习率 ...
- 吴恩达《机器学习》学习笔记二——单变量线性回归
吴恩达<机器学习>学习笔记二--单变量线性回归 一. 模型描述 二. 代价函数 1.代价函数和目标函数的引出 2.代价函数的理解(单变量) 3.代价函数的理解(两个参数) 三. 梯度下降- ...
- 吴恩达《机器学习》笔记（一）【线性回归梯度下降法】
通过在网易云课堂学习吴恩达先生的<机器学习>课程,为了巩固自己的学习且方便读者们共同交流学习,特此做此学习笔记,希望与大家共勉. 吴恩达<机器学习>课程链接:https://s ...
- 0.0 Introduction-机器学习笔记-斯坦福吴恩达教授
斯坦福学习笔记 本书为斯坦福吴恩达教授的在 coursera 上的机器学习公开课的知识笔记,涵盖了大部分课上涉及到的知识点和内容,因为篇幅有限,部分公式的推导没有记录在案,但推荐大家还是在草稿本上演算 ...
- 吴恩达《机器学习》学习笔记十一——应用机器学习的建议
吴恩达<机器学习>学习笔记十一--应用机器学习的建议 一.训练完模型后下一步要做什么 二.评估算法与模型选择 1.训练集与测试集 2.训练/测试步骤 3.模型选择 4.数据集新的划分--验 ...
- 吴恩达《机器学习》学习笔记十——神经网络相关（2）
吴恩达<机器学习>学习笔记十--神经网络相关(2) 一. 代价函数 二. 反向传播算法 三. 理解反向传播算法 四. 梯度检测 五. 随机初始化 1.全部初始化为0的问题 2.随机初始化的 ...
- 吴恩达《机器学习》学习笔记九——神经网络相关（1）
吴恩达<机器学习>学习笔记九--神经网络相关(1) 一. 非线性假设的问题 二. 神经网络相关知识 1.神经网络的大致历史 2.神经网络的表示 3.前向传播:向量化表示 三. 例子与直觉理 ...
- 吴恩达《机器学习》学习笔记六——过拟合与正则化
吴恩达<机器学习>学习笔记六--过拟合与正则化 一. 过拟合问题 1.线性回归过拟合问题 2.逻辑回归过拟合问题 3.过拟合的解决 二. 正则化后的代价函数 1.正则化思想 2.实际使用的 ...
最新文章
- oracle视图能用etl工具_（转）使用kettle作为sqlserver2008和oracle10G之间的ETL工具
- 基于Grafana+SimpleJson的灵活报表解决方案
- UR #13 Yist
- JAVA中String的一些常用函数用法总结
- 《移动App测试的22条军规》—第1章1.2节移动App的生命周期
- c语言数据结构插入算法说明,C语言数据结构插入算法
- angular select2源码解析_Angular 组件库 NG-NEST 源码解析：Form 表单组件
- linux python 升级脚本,Linux环境下python2.7.6升级python3.5.2
- DataFrame和RDD互操作的两种方式：
- Net设计模式实例之建造者模式(Builder Pattern)(1)
- 如何在solarwinds中自定义 OID
- 冲刺第七天 12.3 MON
- 解决 批处理 for 体内的字符串截取问题
- unity简单的粒子特效的制作
- 小游戏——满天小星星
- 模拟手机端来爬取数据
- office word文档不能输出带有下划线的空格
- 《大学物理》课程考试大纲
- 世间最珍贵的... (外一篇)
- aix查看lv_谈谈AIX lv 4k偏移量