机器学习（正在更新）
目录
自己疑问-----容易错误的点：
训练集、验证集、测试集
训练集
验证集
测试集
以下视频地址：[中英字幕]吴恩达机器学习系列课程_哔哩哔哩_bilibili
第二章
2.1线性回归
2-2代价函数（类似误差一样）
2.5-2.6 梯度下降算法，梯度下降算法理解
2.3 线性回归的梯度下降 / Batch梯度下降
第四章 （正规方程与梯度下降一样是为了求满足条件的（塞塔o））
4.1 多变量线性回归假设函数
4.2 多元（多变量）梯度下降算法
4.3 梯度下降实用技巧1-特征缩放
4.4 梯度下降算法实用技巧2 -学习率的选择
4.5 特征与多项式回归
4.6正规方程（对于某些线性回归方程给出更好的方法求得参数x（塞塔）的最优值）
4.6.2 正规方程同梯度下降比较
4.6.3 正规方程与不可逆矩阵
第六章 分类问题
6.1 分类问题
6.2假设函数
6.3决策边界
6.4分类问题中的代价函数
6.5 简化代价函数与梯度下降{如何用梯度算法来拟合出逻辑回归的参数（塞塔）}分类的代价函数为凸函数
6.6 高级优化（比梯度算法更加优化的算法）
6.7 多元分类：一对多
第七章
7. 1过拟合问题
7.2 代价函数-正则函数引入(正则化相当于减少特征量)
7.3 线性回归的正则化（惩罚对象是1-n，不含有0）
7.4 逻辑回归的正则化
第八章（神经网络部分）
8.1 神经网络的必要性（神经网络用于非线性假设，庞大的特真值）
8.3 模型展示I
8.4 模型展示2（神经网络的假设函数+向量化的实现方法）向前传播
8.3 例：神经网络用于计算XOR，XNOR（异或，以及假异或（当两数异或为真时，取假））
第九章
9.1 神经网络代价函数（这里讲解神经网络，在分类问题上面的应用）
9.2让神经网络代价函数最小化的算法---反向传播算法（有点不懂）
9.3反向传播算法理解（反向传播计算代价函数的导数）
9.4 使用技巧：展开参数（矩阵展开为向量）
9.5 梯度检测（用来计算 反向传播算法的偏导数D是否计算正确）
9.6 随机初始化（初始化θ使每个项不再冗余）
9.7小总结
第十章 应用机器学习的建议
10.1 应用机器学习的建议
10.2 评估一个假设 （评价你所学习得到的假设）
10.3 模型选择（数据分为训练集，验证集和测试集）和交叉验证集
10.4 P74 诊断偏差和方差
10.5正则化和偏差、方差
10.6 学习曲线（建立诊断方差和偏差的学习算法，以样本数量大小m为横轴）
10.7改进学习算法
11.1 确定执行的优先级（设计复杂学习系统）
11.2 误差分析（建议在交叉验证集上做误差分析）
11.3 不对称性分类的误差评估（偏斜类问题用查全率（召回率）和查准率）
11.4 查准率和召回率的权衡（F值：更强调这些值中较低的值，制约查准率和查全率的一方偏向）（偏斜类问题用查全率（召回率）和查准率）
11.5 机器学习数据
2022新版机器学习补充知识点
以下视频地址：(强推|双字)2022吴恩达机器学习Deeplearning.ai课程_哔哩哔哩_bilibili
P50 TensorFlow中的数据形式
P51搭建一个神经网络
P52 单个网络层上的向前传播
P53 向前传播的一般实现(代码实现)
P56 矩阵乘法
P58 矩阵乘法代码
第二周 TensorFlow实现
P60 模型训练细节
P61 不同于sigmoid的激活函数
P62 如何选择激活函数
p64 多分类问题
P65 softmax回归模型
P66 softmax神经网络的输出
P67 softmax精度的改进
P68 多标签分类
P69 高级优化 Adam学习率优化
P74 见本笔记10.4节 诊断偏差和方差
P75 见本笔记10.5节 正则化和偏差、方差
P76 制定一个性能评估标准
P77学习曲线 见本笔记 10.6 学习曲线（建立诊断方差和偏差的学习算法，以样本数量大小m为横轴）
P78决定下一步做什么 见本笔记 10.7改进学习算法
P79方差与偏差 见本笔记 10.7改进学习算法
P82添加更多的数据 11.5 机器学习数据
P83 迁移学习
P71-83总结：
P86倾斜数据集合误差指标 11.3 不对称性分类的误差评估（偏斜类问题用查全率（召回率）和查准率）
P87查全率和查准率的权衡 F1权衡 参见笔记11.4 查准率和召回率的权衡（F值，制约查准率和查全率的一方偏向）
P88决策树型
P89 决策树模型
P90纯度 决定如何拆分结点 测量结点中杂质的方式
P91 选择拆分信息增益 （熵的差值：代表降低的不确定性程度）
P92 整合 （如何进行决策树学习）
p93 独热编码 one-hot
P94 连续有价值的功能 00---------连续值特征
P95 回归树 （当我们的问题不再是分类问题时，用回归树解决回归问题（一些数字问题，房价））
P96使用多个决策树
P97有放回抽样
P98 随机森林
P100何时使用决策树
第二大部分 无监督学习
P102 什么是聚类
P103 K-means直观理解
P104 K-means 聚类算法公式
P105 K-means 聚类算法的优化目标（失真函数J）
P106 初始化 k-means
P107 选择聚类数量K
第二个无监督学习 异常
P108 发现异常事件
P109 高斯正态分布
P110 异常检测算法 -----------（密度估计=P(x)）
P111 开发和评估异常检测系统
P112 异常检测与监督学习对比
P113 异常检测中的特征选择
第三部分 推荐系统
p115 推荐系统的特征使用
P116 协同过滤算法（难）
P117 二进制标签
P118 均值归一化处理 （针对于很少电影数量的评价处理过程，结果为电影评价的均值）
P119 利用TensorFlow 来实现协同过滤算法
P120 寻找相关特征
基于内容的过滤系统----------------
P121 协同过滤与基于内容过滤对比
P122 基于内容过滤的深度学习方法（如何求用户和电影相关特征）
P123 从大型目录中推荐（选看）
自己疑问-----容易错误的点：
关于交叉验证集的疑问？
参考：https://blog.csdn.net/qq_36607894/article/details/106827318
训练集、验证集、测试集
如果给定的样本数据充足，我们通常使用均匀随机抽样的方式将数据集划分成3个部分——训练集、验证集和测试集，这三个集合不能有交集，常见的比例是8:1:1。需要注意的是，通常都会给定训练集和测试集，而不会给验证集。这时候验证集该从哪里得到呢？一般的做法是，从训练集中均匀随机抽样一部分样本作为验证集。
训练集
训练集用来训练模型，即确定模型的权重和偏置这些参数，通常我们称这些参数为学习参数。
验证集
而验证集用于模型的选择，更具体地来说，验证集并不参与学习参数的确定，也就是验证集并没有参与梯度下降的过程。验证集只是为了选择超参数，比如网络层数、网络节点数、迭代次数、学习率这些都叫超参数。比如在k-NN算法中，k值就是一个超参数。所以可以使用验证集来求出误差率最小的k。
测试集
测试集只使用一次，即在训练完成后评价最终的模型时使用。它既不参与学习参数过程，也不参数超参数选择过程，而仅仅使用于模型的评价。
值得注意的是，千万不能在训练过程中使用测试集，而后再用相同的测试集去测试模型。这样做其实是一个cheat，使得模型测试时准确率很高。
一个交叉验证将样本数据集分成两个互补的子集，一个子集用于训练分类器或模型，被称为训练集（training set）；另一个子集用于验证训练出的分类器或模型是否有效，被称为测试集（testing set）。测试结果作为分类器或模型的性能指标。而我们的目的是得到高度预测精确度和低的预测误差。为了保证交叉验证结果的稳定性，对一个样本数据集需要多次不同的划分，得到不同的互补子集，进行多次交叉验证。取多次验证的平均值作为验证结果。
第二章
2.1线性回归
m：表示训练样本数量
x:代表输入数量或者特征
y:预测目标/输出目标
（x,y）训练集中的一个样本 （x^i，y^i）代表训练集中样本的索引 i
2-2代价函数（类似误差一样）
平方误差代价函数是解决回归问题最常用的手段。其中二分之一m其实是数学的一种表达，使其误差显得更小一点
2.5-2.6 梯度下降算法，梯度下降算法理解
用来寻找代价函数J（xo，xi）的最小值，下图为梯度算法要干嘛：
梯度算法背后的数学原理，下图为梯度算法的计算公式及正确的验算步骤：
左侧正确格式算法、右侧错误算法，因为没有同步更新
需要同时更新x1，x0，其中x1：=x2是赋值，x1=x2是判断符号，α是你所迈步子的大小
下图为梯度算法形象图解：
下图为 只有一个参数时候的x1：=重新赋值 （更新值），
下图为α学习率的形象理解：
2.3 线性回归的梯度下降 / Batch梯度下降
下图为梯度算法与线性回归以及代价函数的三者的组合应用，其目的就是为了求得θ1,θ0:
下图为的最后表示，在新版中（θ0表示b\θ1表示w）
梯度回归的局限性： 可能得到的是局部最优解
线性回归的梯度下降的函数是凸函数，因此没有局部最优解，只有全局最优解
凸函数图像：
第四章 （正规方程与梯度下降一样是为了求满足条件的（塞塔o））
4.1 多变量线性回归假设函数
参照：吴恩达 - 机器学习课程笔记（持续更新）_做一只猫的博客-CSDN博客_吴恩达机器学习课程笔记
4.2 多元（多变量）梯度下降算法
下图为多元梯度（含偏导式子）：
m：表示训练样本数量
x:代表输入数量或者特征
y:预测目标/输出目标
（x,y）训练集中的一个样本 （x^i，y^i）代表训练集中样本的索引 i（第i个样本），下角字母表示第几个矩阵中第几个数据
4.3 梯度下降实用技巧1-特征缩放
特征缩放，先看左边的图，如果有两个特征，一个特征是房子大小0-2000，而另一个特征是卧室的数量（1-5），那么画出来的代价函数的图像，就是椭圆状，这种图像经过梯度下降算法，很难收敛，因为（x0，x1）会来回震荡。（查找路径更加直线化，可以尽快找到全局最小）
参考： 【机器学习】机器学习笔记（吴恩达）_Bug 挖掘机的博客-CSDN博客_机器学习笔记
注： 使用特征缩放时，有时候会进行均值归一化的操作，使其范围比较接近就可以接受
特征值x1=（ x1 -u1） / s1
这里的u1 就是训练数据集当中 x1 的平均值，而 s1 就是 x1的范围，即x1最大值-x1 最小值。 s1 也可以取x1的标准差，不过一般用x1最大值-x1 最小值就行
4.4 梯度下降算法实用技巧2 -学习率的选择
在梯度下降算法运行过程中，该图的横轴是迭代次数，而 竖轴是代价函数的最小值，通常情况下，迭代次数越多，代价函数的最小值会依次减小。有一个自动收敛测试，当J（x）小于 10-3 次方时，就认为已经收敛
像上图中的三幅图，都要降低学习率a。但是如果学习率a太小的话，收敛就会很慢，那么如何选择合适的学习率呢。（α代表上述箭头的跨度/不发大小）
converge -----收敛 iteration----迭代
先找一个最小的学习率，再找一个最大的学习率，然后取一个最大可能值或比最大值小一些的值，作为学习效率α
4.5 特征与多项式回归
参考：【机器学习】机器学习笔记（吴恩达）_Bug 挖掘机的博客-CSDN博客_机器学习笔记
我们房子的特征，除了宽和高两个特征，还能把两者结合起来，如房子面积作为一个特征，这样有可能更能准确用来预测房子的价格
4.6正规方程（对于某些线性回归方程给出更好的方法求得参数x（塞塔）的最优值）
在讲正规方程以前，我们知道使用梯度下降，是通过迭代的方法，使得代价函数不断下降
通过求导，或者求所有变量的偏微分/偏导/斜率等于0（类似条件极值），可以获取函数的最小值，但这样实现起来过于复杂，这里我需要知道实现原理即可
对于下面这个例子，有4个特征，我们构造x0的一列，然后表示出矩阵X和向量y，通过下面这个式子就能直接求出的最小值（正规矩阵避免了一直求导求极值的麻烦，可以一步到位）（就像最小二乘法）
构造正规方程的步骤如下：（这儿构
下图中的正规矩阵可以求得最小值代价函数值 minJ（o）
注意：使用正规方程，不用进行特征缩放
为什么用正规方程就可以解决求θ的多重步骤呢？
参考：详解正规方程（Normal Equation） - 知乎
对比梯度下降和正规方程，一般特征数量 n>10000 对于线性回归模型就可以使用梯度下降
4.6.2 正规方程同梯度下降比较
- 是同级算法
- 梯度下降缺点是需确定α，需要许多次迭代；优点是适用于样本量大（m > 10000）的数据
- 正规方程缺点是不适用于样本量大（m > 10000）的数据，但无需确定α，无需许多次迭代
4.6.3 正规方程与不可逆矩阵（新版中无）
矩阵不可逆的情况很小，导致不可逆可能有以下两个原因：
1、两个及两个以上的特征量呈线性关系，如x1 = 3x2
2、特征量过多。当样本量较小时，无法计算出那么多个偏导来求出结果
实际操作过程中，要删除多余特征，且呈线性关系的多个特征保留一个即可
Octave中的pinv即使面对不可逆矩阵，也能计算出结果，得出来的是伪矩阵
XT.X不可逆的情况下，仍然可以使用Octave 里面的伪逆函数pinv 获取正确的结果
其余解决办法有两个，
（1）一些已经线性相关的特征，如x1=（3.28）平方* x2，这时候可以去掉x2这个特征
（2）如果特征太多（比如=样本m太少，而特征n太多），可以删除一些特征，或者使用正则化方法
第六章 分类问题
6.1 分类问题
参考：【机器学习】机器学习笔记（吴恩达）_Bug 挖掘机的博客-CSDN博客_机器学习笔记
6.2假设函数
ogistic regression的假设函数值总是在0到1之间
logistic regression模型
线性回归中 hθ(x) = θTx
作一下修改，变成下图形式
logistic函数 / sigmoid函数
逻辑回归模型
看一个具体的逻辑回归问题（这儿θ为参数，y的取值为0或1，x为某种特征）
Tell patient that 70% chance of tumor being malignanthel)
告诉病人70%的肿瘤有可能是恶性肿瘤
P（y=0｜ x；θ） 这个公式可以理解成条件概率
6.3决策边界
下图为回归函数我们最后要将其转换为判断什么的图片：
预测 y = 1 if -3 + x1 + x2 ≥ 0，即x1 + x2 ≥ 3
则有下图，中间的洋红色直线即为 决策边界（x1 + x2 = 3）
决策边界所画出的分界线都是假设函数的属性决定于假设本身和其参数的属性（θ的不同取值），非数据集的属性（样本属性），之后的决策边界我们通过训练集来确定参数（θ的值）{我们用训练集来拟合参数θ}，再来求得准确的决策边界。
便可以开确定决策边界
6.4分类问题中的代价函数
逻辑回归的代价函数选择：如何选择θ
如果直接使用线性回归的，误差平方作为代价函数，会出现代价函数不是凸函数的情况，会得到局部最优解，影响梯度下降算法寻找全局最小值
下面是逻辑回归的代价函数：（纵轴代表代价函数的值J(0)）
先看下if y=1 的函数图像，如果 y=1 时，h（x）接近为0，这时候认定他是一个恶性肿瘤，这时候代价会很大（因为之前预测是h（x）<0.5 是良性，y=0不是肿瘤）
下面是y=0的代价函数，当h（x）=1 时，若还是预测y=0 ，代价会非常高
2. 当y = 0时
if hθ(x) = 0, cost = 0
if hθ(x) = 1, cost = ∞ （预测与实际完全不一致，要花费很大的代价惩罚算法）
6.5 简化代价函数与梯度下降{如何用梯度算法来拟合出逻辑回归的参数（θ）}分类的代价函数为凸函数
求解思路********************************************************************************************先求出h（θ）的值，然后用代价函数J（θ）来得到最优解，其中θ的值来源于：
得到：
数学公式参照：吴恩达 - 机器学习课程笔记（持续更新）_做一只猫的博客-CSDN博客_吴恩达机器学习课程笔记
可以将逻辑回归的代价函数进行简化
注意，假设函数的输出值，表示的P（y=1 ｜x；oumiga即为恶性肿瘤的概率，逻辑回归的代价函数，是根据统计学当中的最大似然估计得出的
下面的图1，少了1/m，网上说也可以归到学习率里面去
图1
利用梯度下降算法找到代价函数的最小值，表面上看上去与线性回归的梯度下降算法一样，但是这里 的h
模式识别与机器学习 使用的教材,PPT为1 公式推导部分直接去看白板推导2,不管是书上还是ppt都写的极其模糊 先说重点: 贝叶斯算概率 参数估计 第二讲 贝叶斯学习基础 贝叶斯公式 先验概率是非条件 ... 红色石头的个人网站:redstonewill.com 本章介绍的是每一个数据科学家都应该知道并听说的机器学习许多基本的概念和术语.这将是一个高层次的概括(本书唯一没有很多代码的一章).内容很简单,但是 ... 注意:下载笔记.视频.代码:请点击"阅读原文" 我和同学将吴恩达老师机器学习和深度学习课程笔记做成了打印版,放在github上,下载后可以打印. 公布了深度学习笔记的word和ma ... 第一节 机器学习定义 对于一个计算机程序来说,给它一个任务T和一个性能测量方法P,如果在经验E的影响下,P对T的测量结果得到了改进,那么就说程序从E中学习. 监督学习 回归问题 房价的预测 分类问题 ... 目录 欢迎订阅本专栏,持续更新中~ 本专栏前期文章介绍! 机器学习配套资源推送 进阶版机器学习文章更新~ 点击下方下载高清版学习知识图册 降维与度量学习 K近邻学习 MDS算法 主成分分析(PCA) ... 前言 小编前面几期文章分别给大家介绍了使用HMS ML Kit SDK实现微笑抓拍.证件照DIY.拍照翻译的功能开发(链接见文章末尾),本次小编给大家带来的是使用HMS 机器学习服务(ML Kit)银 ... 目录 介绍 概观 部分解决方案 特色工程 多功能工具 boruta-py tsfresh Trane FeatureHub 超参数优化器 Skopt Hyperopt simple(x) Ray.tu ... 目录 欢迎订阅本专栏,持续更新中~ 本专栏前期文章介绍! 机器学习配套资源推送 进阶版机器学习文章更新~ 点击下方下载高清版学习知识图册 决策树 决策树基本概念 决策树的构造 ID3算法 C4.5算法 ... 目录 欢迎订阅本专栏,持续更新中~ 本专栏前期文章介绍! 机器学习配套资源推送 进阶版机器学习文章更新~ 点击下方下载高清版学习知识图册 项目要求 数据透视 代码实战 维度太多,利用PCA降维的思想进 ... 点击上方"AI有道",选择"星标公众号" 关键时刻,第一时间送达! 前几天,红色石头在公众号发文,给大家介绍了一本机器学习入门与实战非常不错的书籍<Han ...机器学习（正在更新）相关推荐
最新文章
热门文章