吴恩达机器学习笔记 —— 5 多变量线性回归
http://www.cnblogs.com/xing901022/p/9321045.html
本篇主要讲的是多变量的线性回归,从表达式的构建到矩阵的表示方法,再到损失函数和梯度下降求解方法,再到特征的缩放标准化,梯度下降的自动收敛和学习率调整,特征的常用构造方法、多维融合、高次项、平方根,最后基于正规方程的求解。
更多内容参考 机器学习&深度学习
在平时遇到的一些问题,更多的是多特征的
多变量的表示方法
多元线性回归中的损失函数和梯度求解
有时候特征各个维度是不同规模的,比如房间的平米数和房间数,两个数量级相差很大。如果不丛任何处理,可能导致梯度优化时的震荡。
一般如果特征时在可接受的范围内,是不需要做特征缩放的。如果很大或者很小,就需要考虑进行特征的缩放了。
标准化,即
自动收敛测试:如果梯度在优化后变化很小,比如10^-3,那么就认为梯度优化已经收敛。
如果发现误差在不断的增加或者不断的抖动,那么应该减小学习率,这一版都是由于学习率过大导致的震荡。但是如果学习率设置的很小,收敛的速度又会很慢。一般都是采用不同的学习率来测试,比如0.001, 0.01, 0.1, 1 ....
有的时候我们选择的特征,并不是直接使用数据,而是通过数据拟合出新的特征。比如我们有房子的长宽,但是使用特征的时候,可以构造出一个面积特征,会更有效果。
通过x构造新的特征替换高维特征
如果不希望房子的价格出现下降,可以构造平方根的特征:
基于正规方程解
基于梯度下降和正规方程的区别
如果特征之间共线,会导致矩阵不可逆
吴恩达机器学习笔记 —— 5 多变量线性回归相关推荐
- 吴恩达机器学习训练1:线性回归(多变量)
吴恩达机器学习训练1:线性回归(多变量) 本小节为练习1中选做题,为多变量(多特征参数)的线性回归计算. 还是预测房价的例子,假设已经两个特征参数,分别是房子的尺寸和卧室的数量,在数据的第一列和第二列 ...
- 吴恩达机器学习笔记整理(Week1-Week5)
吴恩达机器学习笔记整理 1. Week1 1.1 什么是机器学习(What is Machine Learning) 1.2机器学习算法分类 1.3 单变量线性回归(Linear Regression ...
- 吴恩达机器学习笔记第一周
第一周 吴恩达机器学习笔记第一周 一. 引言(Introduction) 1.1 欢迎 1.2 机器学习是什么? 1.3 监督学习 1.4 无监督学习 二.单变量线性回归(Linear Regress ...
- 吴恩达机器学习笔记整理(Week6-Week11)
1. Week 6 1.1 应用机器学习的建议(Advice for Applying Machine Learning) 1.1.1 决定下一步做什么 到目前为止,我们已经介绍了许多不同的学习算法, ...
- 吴恩达机器学习笔记55-异常检测算法的特征选择(Choosing What Features to Use of Anomaly Detection)
吴恩达机器学习笔记55-异常检测算法的特征选择(Choosing What Features to Use of Anomaly Detection) 对于异常检测算法,使用特征是至关重要的,下面谈谈 ...
- 吴恩达机器学习笔记:(四)矩阵、多元梯度下降
吴恩达机器学习笔记 矩阵基础知识 矩阵逆运算 矩阵的转置 实践乘法 多元梯度下降 特征缩放 学习率α 矩阵基础知识 矩阵逆运算 矩阵的转置 实践乘法 多元梯度下降 特征缩放 学习率α 学习率的选择:
- 吴恩达机器学习笔记:(一)机器学习方法简介
吴恩达机器学习笔记 Supervised Learning(监督学习) Unsupervised Learning(无监督学习) clustering 聚类算法 market segments 市场细 ...
- 吴恩达机器学习2——单变量线性回归
吴恩达机器学习2--单变量线性回归 监督学习工作模式 训练集中同时给出了输入输出,即人为标注的"正确结果"喂给学习算法,得到一个函数h,h 可以根据输入的x得到一个y,因此h是x到 ...
- 吴恩达机器学习笔记week8——神经网络 Neutral network
吴恩达机器学习笔记week8--神经网络 Neutral network 8-1.非线性假设 Non-linear hypotheses 8-2.神经元与大脑 Neurons and the brai ...
最新文章
- html制作棋盘,棋盘的制作方法
- IOS UIView 放大缩小
- VS中的调试相关的技巧
- shell脚本备忘录
- CSS 基础框盒模型介绍
- linux 内存监控工具,系统运维|你值得拥有 —— 25 个 Linux 性能监控工具
- arm交叉编译jsoncpp
- “找不到网络路径”的检测方法及解决方案
- 配置开发支持高并发TCP连接的Linux应用程序全攻略
- 收藏的一些github开源项目,在这里记录一下
- Ubuntu 安装JDK18
- macOS Monterey 12.0beta4黑苹果镜像虚拟机版本
- WEBI上取月的整周
- 【C++ Primer】第十章 泛型算法 (练习)
- 工作清单软件哪个好用?桌面计划待办清单便签
- 怎么样用云服务器进行深度学习
- 有哪些目前流行的前端框架
- openOffice + jobConverter 实现Word转PDF。完美解决方案
- 大数据招标文件_大数据处理与分析平台及软件项目招标公告 - 千里马招标网
- Linux 文件目录压缩与解压命令
热门文章
- VUE3.0 一.安装node.js、vue3.0脚手架
- “智源论坛Live”报名 | 清华大学高天宇:实体关系抽取的现状和未来
- XGBoost调参技巧(二)Titanic实战Top9%
- 使用tensorflow实现全连接神经网络的简单示例,含源码
- 近期活动盘点:知识智能高峰论坛暨“知识智能联合研究中心”年度报告会、新时代的医学影像及心脑血管成像的应用思享会...
- 近期活动盘点: Call for Code编程马拉松邀请赛
- 排列(permutation)2_6
- 院士:人一生有两个阶段最能逼出成果,一是拿博士学位,二是评正教授
- 香港浸会大学计算机系月入4万博士你还不心动吗?
- 自动驾驶玩漂移,一顿操作猛如虎!!! 斯坦福最新研究