Coursera课程地址

因为Coursera的课程还有考试和论坛，后续的笔记是基于Coursera
https://www.coursera.org/learn/machine-learning/home/welcome

Solving the Problem of overfitting

1. The Problem of overfitting 过拟合 - Regression

Linear regression 线性回归问题，解法的问题分类：

underfit, High bias 不够准确
Just right 刚刚好
overfit过拟合, Hig variance 参数太多，导致新数据的预测比较差

分类的解法一样有同样的问题：
underfit, High bias 不够准确
Just right 刚刚好
overfit过拟合, Hig variance 参数太多，导致新数据的预测比较差

解决过拟合Overfitting: 减少不重要的参数

解决过拟合Overfitting:
减少不重要的参数
或者降低不重要参数的权重

2. Cost function - Regression

如果要penalize处罚某些参数，可以乘以某个大数，比如1000，则前面的系数可以θ≈0

挨个参数的系数去适配，用如下公式

预测房价适配参数的系数例子

如果λ过大，则只剩下θ0，就变成一个常数，也就是不拟合了。

优化Overfit 过拟合的公式：

3. Regularized linear regression - Regularization

正规方程：线性回归方法 Regularized linear regression

梯度下降方法

标准方程Normal equation

Non-invertibility不可逆矩阵。可以证明，λ > 0 的情况下，都是有可逆矩阵。

4. Regularized logistic regression - Regularization

正规方法：分类回归 Regularized logistic regression

梯度下降算法：Gradient descent

高级优化算法：Advanced optimization

线性回归能耗工程 cost function for logistic regression：

正规方程：线性回归能耗工程 cost function for logistic regression：

week 3 的上机作业，请用这个链接下载。

https://s3.amazonaws.com/spark-public/ml/exercises/on-demand/machine-learning-ex2.zip
参考论坛
https://www.coursera.org/learn/machine-learning/discussions/forums/vo9wKSgeEeaZ8Apto8QB_w/threads/VGlLCbsmEeu8TRLTS18hVQ

需要重复加强的地方

搜索关键词：doglegm error
The “doglegm” error is discussed in the FAQ thread in the Week 3 Discussion Forum.

showing error in doglegm method of fminunc function
error: operator \: nonconformant arguments (op1 is 3x3, op2 is 1x1)
error: called fromfminunc>__doglegm__ at line 466 column 5fminunc at line 274 column 9ex2 at line 98 column 15

https://www.coursera.org/learn/machine-learning/discussions/forums/vo9wKSgeEeaZ8Apto8QB_w/threads/ONqgSSA7EeaVDxK4na7kAw

See the page “Programming tips from Mentors” in the Week 2 materials.

Week 3
Discuss and ask questions about Week 3.
https://www.coursera.org/learn/machine-learning/discussions/all/threads/JHorKeknEeS0tyIAC9RBcw

机器学习- 吴恩达Andrew Ng - week3-4 solve overfitting相关推荐

【斯坦福公开课-机器学习】1.机器学习的动机和应用（吴恩达 Andrew Ng）
文章目录 0三个目标 0先修课程要求基本工具 1-网址 2-邮箱 3-本系列课程链接 1机器学习的定义 1-1非正式定义 1-2正式的定义 2监督学习(Supervised Learning) 2- ...
第06周：吴恩达 Andrew Ng 机器学习
10 应用机器学习的建议 10.1 决定下一步做什么依旧用房价预测的例子,假设我们使用已经正则化的线性回归的模型得到了参数,并将参数带入预测函数来预测一组新的房价,但是结果误差很大,那么为了解决问题 ...
第01周：吴恩达 Andrew Ng 机器学习
学习内容: 1 机器学习 1.1 机器学习定义 ①Arthur Samuel:在没有明确设置的情况下,使计算机具有学习能力的研究领域. e.g.跳棋游戏,使计算机与自己对弈上万次,使计算机学习到什么是 ...
第10周：吴恩达 Andrew Ng 机器学习
15 异常检测(Anomaly Detection) 这种算法虽然主要用于非监督学习问题,但从某些角度看,它又类似于一些监督学习问题. 15.1 问题动机例:假想一个飞机引擎制造商,当他生产的飞机引 ...
第02周：吴恩达 Andrew Ng 机器学习
学习目标: 完成对机器学习逻辑回归部分完成习题整理理论与编程题笔记学习内容: 六.逻辑回归 6.1 分类问题Classification 二分类问题:通常结果有两种可能(0:negative c ...
第09周：吴恩达 Andrew Ng 机器学习
14 降维(Dimensionality Reduction) 第二种类型的无监督学习问题叫降维 14.1 目标Ⅰ:数据压缩使用降维的原因之一是数据压缩,数据压缩可以使数据占用较小的内存或硬盘空间, ...
机器学习(Machine Learning) - 吴恩达(Andrew Ng) 视频笔记
背景:写于20190408,大概一周前我已经看到了P47 8-4 - Model Representation II 视频链接:https://www.bilibili.com/video/av991 ...
第08周：吴恩达 Andrew Ng 机器学习
13 聚类聚类算法是学习的第一个无监督学习算法,它所用到的数据是不带标签的. 13.1 无监督学习什么是无监督学习? 在无监督学习中,所有的数据不带标签,而无监督学习要做的就是将这一系列无标签的数 ...
第04周：吴恩达 Andrew Ng 机器学习
学习内容: 8 神经网络 8.1 为什么用神经网络当只有两个特征时(x1.x2),使用sigmoid函数得到的结果还可以,因为可以把x1.x2的所有组合都包含到多项式中.但当很多问题含有很多特征,不 ...
第05周：吴恩达 Andrew Ng 机器学习
学习内容: 9 神经网络的运用 9.1 代价函数其中: 假设训练集为m组的训练样本用L表示神经网络的总层数,对于上图来说,L=4 用表示第L层的单元数,也就是神经元的数量(不包括这一层的偏差单元) ...

机器学习- 吴恩达Andrew Ng - week3-4 solve overfitting