【机器学习-周志华】学习笔记-第十章

记录第一遍没看懂的
记录觉得有用的
其他章节：
        第一章
        第三章
        第五章
        第六章
        第七章
        第八章
        第九章
        第十章
        十一章
        十二章
        十三章
        十四章
        十五章
        十六章

k近邻学习是给定测试样本，基于某种距离度量找出训练集中与其最
靠近的k个训练样本，然后基于这k个"邻居 "的信息来进行预测。这样虽然很简单，但没有显式训练过程，且容易受到极端点的影响。

MDS是要原始空间中样本之间的距离在低维空间中得以保持；由公式(10.10)，可通过降维前后保持不变的距离矩阵D求取内积矩阵 B。

主成分分析是通过最小化降维结果与原数据的差距或者最大化降维结果的可分度来得到对应的矩阵，进而选出最大的特征值对应的特征向量作为包含最多信息的“主成分”。

核化线性降维是为了解决PCA降维得到的预本真结构差别较大提出的，它是通过样本映射到高维特征空间，然后在特征空间中实施PCA
流形学习是利用局部欧氏距离不变的思路。等度量映射是利用流形在局部上与欧氏空间同胚这个性质，对每个点基于欧氏距离找出其近邻点，然后就能建立一个近邻连接图。局部线性嵌入试图保持邻域内样本之间的线性关系。

度量学习是通过找到一个距离的普遍表示方法，并对其中的参数（M）直接进行学习。这样是直接对降维的距离度量方法进行最优的寻找。

【机器学习-周志华】学习笔记-第十章相关推荐

《机器学习》周志华学习笔记
<机器学习>周志华学习笔记第一章绪论 1.1 引言机器学习:致力于研究如何通过计算的手段,利用经验来改善系统自身的性能. 经验:"经验"通常以"数据& ...
机器学习-周志华-学习记录-第一章绪论
文章目录绪论一.什么是机器学习二.基本术语三.假设空间四.归纳偏好总结参考链接绪论为了更早地适应研究生的生活,我决定重新学习周志华老师的机器学习这本书.同时也为了能够养成博客记录的习 ...
《机器学习》周志华学习笔记第二章模型评估与选择（课后习题）
模型选择与评估一.内容 1.经验误差与过拟合 1.1 学习器在训练集上的误差称为训练误差(training error),在新样本上的误差称为泛化误差(generalizion error). 1. ...
《机器学习》周志华学习笔记第一章绪论（课后习题）
最近需要学习机器学习,有一点点基础但是很少,希望能通过写博客的方式和大家交流以及学习达到共同进步的目的. 绪论 : 一.内容 1.基本术语 2.假设空间与版本空间 3.归纳偏好(常用的有奥卡姆剃刀) ...
《机器学习》周志华学习笔记第十四章概率图模型（课后习题）python实现
一.基本内容 1.隐马尔可夫模型 1.1. 假定所有关心的变量集合为Y,可观测变量集合为O,其他变量集合为R, 生成式模型考虑联合分布P(Y,R,O),判别式模型考虑条件分布P(Y,R|O),给定一组 ...
《机器学习》周志华学习笔记第八章集成学习（课后习题）python实现
1.个体与集成 1.1同质集成 1.2异质集成 2.boosting:代表AdaBoost算法 3.Bagging与随机森林 3.1Bagging 是并行式集成学习方法最著名的代表(基于自主采样法bo ...
《机器学习》周志华学习笔记第六章支持向量机（课后习题）python 实现
一. 1.间隔与支持向量 2.对偶问题 3.核函数 xi与xj在特征空间的內积等于他们在原始yangben空间中通过函数k(.,.)计算的结果. 核矩阵K总是半正定的. 4.软间隔与正则化软间隔允许 ...
《机器学习》周志华学习笔记第五章神经网络（课后习题） python实现
1.神经元模型 2.感知机与多层网络 3.误差逆传播算法 (A)BP算法:最小化训练集D上的累积误差标准BP算法:更新规则基于单个Ek推导而得两种策略防止过拟合:(1)早停(通过验证集来判断,训练 ...
《机器学习》周志华学习笔记第四章决策树（课后习题）python 实现
一.基本内容 1.基本流程决策树的生成过程是一个递归过程,有三种情形会导致递归返回 (1)当前节点包含的yangben全属于同一类别,无需划分: (2)当前属性集为空,或是所有yangben在所有属 ...
《机器学习》周志华学习笔记第三章线性模型（课后习题）python 实现
线性模型一.内容 1.基本形式 2.线性回归:均方误差是回归任务中最常用的性能度量 3.对数几率回归:对数几率函数(logistic function)对率函数是任意阶可导的凸函数,这是非常重要的性 ...

【机器学习-周志华】学习笔记-第十章

【机器学习-周志华】学习笔记-第十章相关推荐

最新文章

热门文章