机器学习 – 《机器学习》(周志华) 第三章

笔记

文章目录

机器学习 -- 《机器学习》(周志华) 第三章
- 笔记
- 注
- 常用数学符号

正交回归
点距离线的距离是正交回归
线性回归
点垂直方向到线的距离
将离散特征转为线性公式
极大似然估计
1. 用途：估计概率分布的参数值
2. 方法：
  1. 写出随机变量X的概率密度函数
  2. 写出似然函数
  3. 求出使得L(μ，σ^2) 取到最大值的μ，σ
概率密度函数
最小二乘法
基于方误差最小化来进行求解的方法
凸集¹
凸函数时需要，最优化领域凹凸性与高数中不同
梯度
梯度为多元函数的一阶导数
线性判别分析
给定训练集，将样例进行投射。同类型的样例点尽可能接近，不同的样例尽可能远；在对样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别
多分类学习
1. 思路：利用“拆解法”将多分分类任务拆解为多个二分类任务，逐一解决的一种思路
2. 常用拆分策略
  1. 一对一 OvO
  2. 一对其余 OvR
  3. 多对多 MvM
ECOC(Error Correcting Output Codes) 纠错输出码
是MvM 常用技术，是将编码的思想引入类别拆分，并尽可能在解码过程中具有容错性

注

常用数学符号

使用搜狗输入法可直接输入

alpha —— α
beta —— β
gamma —— γ
theta —— θ
eta —— η

学习凸集，推荐《最优化基础理论与方法》（王燕军） ↩︎

机器学习 -- 《机器学习》(周志华) 第三章相关推荐

机器学习（周志华）第一章至第三章笔记
关于周志华老师的<机器学习>这本书的学习笔记记录学习过程本博客记录Chapter1 to Chapter3 文章目录 1 绪论 1.1 引言 1.2 基本术语 1.3 假设空间 1.4 ...
机器学习（周志华）第九章聚类
关于周志华老师的<机器学习>这本书的学习笔记记录学习过程本博客记录Chapter9 文章目录 1 聚类任务 2 性能度量 3 距离计算 4 原型聚类 4.1 k均值算法 4.2 学习向 ...
机器学习（周志华）第一章引言
第一章引言 1.1引言机器学习的定义: Machine Learning is Fields of study that gives computers the ability to learn ...
《机器学习》周志华第10章降维与度量学习思维导图+笔记+习题
K-Means与LVQ都试图以类簇中心作为原型指导聚类,其中K-Means通过EM算法不断迭代直至收敛,LVQ使用真实类标辅助聚类:高斯混合聚类采用高斯分布来描述类簇原型:密度聚类则是将一个核心对象所 ...
《机器学习》周志华 --第3章线性模型思维导图+笔记+习题
基本形式问题描述:给定由d个属性描述的示例x=(x1;x2;x3-xd),其中xi是x的第i个属性上的取值,线性模型试图学得一个通过属性的线性组合来进行预测函数, 函数形式:f(x) = w1x1+ ...
《机器学习》周志华课后习题答案——第三章 (1-7题)
<机器学习>周志华课后习题答案--第三章 (1-7题) 文章目录 <机器学习>周志华课后习题答案--第三章 (1-7题) 一.试析在什么情形下式(3.2)中不必考虑偏置项b. ...
《机器学习》周志华课后习题答案——第一章（1-3题完结）
<机器学习>周志华课后习题答案--第一章文章目录 <机器学习>周志华课后习题答案--第一章一.表1.1中若只包含编号为1和4的两个样例,试给出相应的版本空间二.与使用单个 ...
机器学习_周志华（西瓜书）课后习题答案第一章 Chapter1
机器学习_周志华课后习题答案第一章 Chapter1 习题1.1 Q:表1.1中若只包含编号为1和4的两个样例,试给出相应的版本空间. 由所给出的数据集(训练集)可知,属性3个:色泽.根蒂.敲声, ...
《机器学习》周志华第二章——模型评估与选择笔记
<机器学习>周志华第二章--模型评估与选择过拟合和欠拟合过拟合:对训练数据拟合过当的情况,训练集表现很好,测试集表现差. 欠拟合:模型在训练和预测时都表现不好. 降低过拟合的方法: ...

机器学习 -- 《机器学习》(周志华) 第三章

机器学习 – 《机器学习》(周志华) 第三章

笔记

文章目录

注

常用数学符号

机器学习 -- 《机器学习》(周志华) 第三章相关推荐

最新文章

热门文章