机器学习第五章神经网络

参考链接https://www.cnblogs.com/maybe2030/p/5597716.html
梯度检测

确认没有错误之后就关掉这个梯度检测，否则会变得很慢，因为他比反向传播慢的很

选择神经网络的架构输入层与输出层是与特征的维度与类别的数目相关的。对于隐藏层，如果大于1隐藏单元的数目应该是相等。

欠拟合：高偏差
过拟合：高方差
交叉验证：分为训练集测试集以及交叉验证集
判别办法横坐标d是维度 d为1的时候训练误差和交叉误差都很大。当d很大的时候训练误差是小的
但是交叉误差是大的

线性回归正则化对λ的选择

太大了 θ都是0，一条直线欠拟合
如果λ太大了的话，就会有比如0，就会造成过拟合

对于正则化λ的选择，尝试不同的λ的值，求出最小代价函数对应的θ，用这个theta带入交叉验证中进行验正。然后再交叉呀郑重选择了θ5 然后带入到测试集中进行测试

正则化

对于这个图形，对于训练集来说，λ从小到大，小的时候对应的θ是高阶的因此训练集拟合的好，可能存在过拟合对于那个交叉验证集所以误差大。随着λ增大，θ变小了，因此相当于一次项了，然后欠拟合，这时候误差也是大的，只有选择一个合适的λ，才能降低新的数据的误差。改变lamda-交叉误差和训练误差的变化。

学习曲线

训练集对训练集上学习代价的曲线变化以及交叉测试集上的曲线变化，对于训练集，数目越少拟合越好，数目多了误差增加。对于交叉训练集，原来的训练集的数目越多他的性能越好

增大训练效果没有用的粒子

高偏差（欠拟合）

当交叉训练集随着训练的数目增大的时候，误差不会下降，保持一个较高的稳定的值，这个时候有再多的数据也是没有什么效果的。右图显示的是，如果只有两个参数，那么数据集数据再多，这个直线也是无法拟合的（训练集和交叉验证集随着样本越来越大误差都很大的时候）
这哥时候收集再多数据没有用

高方差（过拟合）

如果λ十分的小，而且θ十分的大，那么就会过拟合。训练集随着数目的增多，还是会稍微有点误差但是始终很小。但是对于交叉训练集，就是有很大的误差，随着样本数目的下降，稍微有点降低，但是和训练集之间的误差是很大的，随着样本数目的增加，测试集的误差是下降的因此在高方差中，增加样本数量是可行的

对于不同的错误的修复

特征向量：对于一个文本，存在的单词特征向量中为1，不存在的为0

对于一个垃圾分类器

有这些方法进行改进

先简单暴力的实现一个最快的算法然后检测对不正确的进行分类看那种问题最多然后修改原则。

对于一个分类模型：精度和recall 都是重要的检测
精度：预测患了癌症且真的有癌症的人/ 预测的所有患癌症的
recall：预测且真的患有癌症的人/ 真实中所有得癌症的人

这种定义是因为我们希望的真正的患有癌症的人很少的时候。如果y=0 预测一直为0，那么那么recall 是0 是不正确的。 skewed class . 偏斜类。有好的精确度和召回率的算法是好的算法

精度和召回率的一个比例。
如果阈值 0.99 那么精度高，但是会漏下许多，因此召回率不高。如果阈值时0.3 ，那么精度较低，因为把很多都判断为患有癌症。但是召回率高

选择一个好的模型，有好的召回率和好的精度。

svm

通过c的选择可以有更大的间距。 large margin classification

θ0=0 绿线是分类线，蓝线是θ，红叉点向上面投影，得到p的长度，如果大于1，那么θ数值要大。
SVM 核函数

选择标记点

svm与核函数

高斯核函数线性核函数莫塞尔定理

KNN

降维

pca：找低维平面。找一条直线进行投影，使得投影误差最小。如果是n维到k维，那么就是找k个向量。最小化平方投影

数据处理
特征-平均值
如果特征有不同的尺度：特征收缩：特征-平均值/max-min or 特征-平均值/标准差

使用PCA 进降维，用最少的k 使得与原来的方差比还是99%
压缩重现：

仅仅在测试集上面运用PCA

pca 不是一个好的防止过拟合的做法。即使你的方差保留到99%，但是仍然存在一些有价值的信息被抛弃的行为。
因此一个好的做法还是进行正则化。pca 提高算法速度比较好

只有需要压缩数据的时候使用pca, 不要盲目的使用pca，除非你硬盘内存不够了才需要压缩数据的时候。

异常检测

评估算法

异常检测算法

异常检测算法和监督学习算法

通过对数据的变化，使其分布，数据的特征分布更加类似于高斯。可以通过开根，log 等等进行

推荐系统，协同过滤

协同过滤算法
低秩矩阵分解

找到最近的电影

均值规范化

归一化算法：使用其对未进行任何评分的电影进行评分

批量梯度下降，解决梯度下降中数量太多的问题

如果有3亿人，

机器学习第五章神经网络相关推荐

西瓜书研读——第五章神经网络：BP神经网络
西瓜书研读系列: 西瓜书研读--第三章线性模型:一元线性回归西瓜书研读--第三章线性模型:多元线性回归西瓜书研读--第三章线性模型:线性几率回归(逻辑回归) 西瓜书研读--第三章线性模型: ...
神经网络基础机器学习第五章
神经网络文章目录神经网络前言一.神经元模型二.感知机与多层网络三.误差逆传播算法四.全局最小与局部极小五.其他常见神经网络 1.RBF网络 2.ART网络 3.SOM网络 4.级联相关 ...
bp神经网络代码_机器学习（周志华）课后习题——第五章——神经网络
5.1 试述将线性函数用作神经元激活函数的缺陷. 答: 使用线性函数作为激活函数时,无论是在隐藏层还是在输出层(无论传递几层),其单元值(在使用激活函数之前)都还是输入的线性组合,这个时候的神经网 ...
《机器学习》周志华学习笔记第五章神经网络（课后习题） python实现
1.神经元模型 2.感知机与多层网络 3.误差逆传播算法 (A)BP算法:最小化训练集D上的累积误差标准BP算法:更新规则基于单个Ek推导而得两种策略防止过拟合:(1)早停(通过验证集来判断,训练 ...
机器学习吃瓜（西瓜、南瓜书）笔记 task04-第五章神经网络
目录 5.1 MP神经元 5.2 感知机 5.2.1 数学角度 5.2.2 几何角度 5.3 神经网络 5.3.1 多层前馈神经:全连接 5.3.2 分类.回归 5.3.3 BP反向传播算法 5.1 ...
【周志华机器学习】五、神经网络
文章目录参考资料 1. 基本概念 1.1 神经元模型 2. 感知机与多层网络隐藏层的解释 3. BP神经网络算法 3.1 算法思想 3.2 过拟合问题 4. 全局最小与局部最小 5. 深度学习 5 ...
matlab版吴恩达机器学习第五章笔记
机器学习matlab操作基础 1.基本操作 2.移动数据 3.计算数据 4.绘图数据 5.控制语句:for,while,if语句 6.向量化 1.基本操作参考视频: 5 - 1 - Basic Op ...
吴恩达机器学习笔记五之神经网络
本节目录: 1.非线性假设 2. 神经元和大脑 3. 模型表示 4. 特征的直观理解 5. 样本的直观理解 6. 多类分类 1 非线性假设假设我们希望训练一个模型来识别视觉对象(例如识别一张图片上是 ...
elman神经网络_西瓜书第五章——神经网络
5.1 神经元模型定义:神经网络是具有适应性的简单单元组成的广泛并行互联的网络,他的组织能够模拟生物神经系统对真实世界所做出的交互反应 5.2 感知机与多层网络 *感知机由两层神经元组成感知机只能 ...

机器学习第五章神经网络

正则化