统计学习方法读书笔记3-感知机SVM

文章目录

1.感知机模型
2.感知机的学习策略
- 1.数据集的线性可分性
- 2.感知机学习策略
3.感知机学习算法
- 1.原始形式-随机梯度下降法
- 2.对偶形式
4.感知机算法收敛性证明

感知机是二类分类的线性分类模型，其输入是实例的特征向量，输出为实例的类别，属于判别模型。感知机旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法，对损失函数进行极小化，得到感知机模型。

1.感知机模型

2.感知机的学习策略

1.数据集的线性可分性

感知机一般划分线性可分数据集

2.感知机学习策略

3.感知机学习算法

1.原始形式-随机梯度下降法

2.对偶形式

对偶形式与原始形式的比较：- 对偶形式解决了原始形式的冗余问题- α与w的比较，空间复杂度降低- 引入了Gram矩阵，消除了x_i,x_j的影响，时间复杂度为O(1)

4.感知机算法收敛性证明

P41~P43

统计学习方法读书笔记3-感知机SVM相关推荐

统计学习方法读书笔记（六）-逻辑斯蒂回归与最大熵模型（迭代尺度法（IIS））
全部笔记的汇总贴:统计学习方法读书笔记汇总贴逻辑斯谛回归 (logistic regression )是统计学习中的经典分类方法.最大熵是概率模型学习的一个准则,将其推广到分类问题得到最大熵模型(m ...
统计学习方法读书笔记（九）-EM算法及其推广
全部笔记的汇总贴:统计学习方法读书笔记汇总贴 EM算法用于含有隐变量(hidden variable)的概率模型参数的极大似然估计,或极大后验概率估计.EM算法的每次迭代由两步组成:E步,求期望(ex ...
统计学习方法读书笔记（五）
读书笔记仅供个人学习使用本文主要参考书籍为<统计学习方法>(李航)第二版参考 Sunning_001的博客决策树决策树的定义 if-then 的理解条件概率分布的理解决策树学习 ...
统计学习方法读书笔记15-逻辑斯蒂回归习题
文章目录 1.课后习题 2.视频课后习题 1.课后习题 import numpy as np import time import matplotlib.pyplot as plt from mpl_ ...
逻辑斯蒂回归_逻辑斯蒂回归详细解析 | 统计学习方法学习笔记 | 数据分析 | 机器学习...
本文包括: 重要概念逻辑斯蒂回归和线性回归二项逻辑斯谛回归模型逻辑斯蒂回顾与几率模型参数估计多项逻辑斯谛回归其它有关数据分析,机器学习的文章及社群 1.重要概念: 在正式介绍逻辑斯蒂回归模 ...
李航《统计学习方法》笔记
虽然书名是统计学习,但是却是机器学习领域中和重要的一本参考书.当前的机器学习中机器指计算机,但是所运用的方法和知识是基于数据(对象)的统计和概率知识,建立一个模型,从而对未来的数据进行预测和分析(目的 ...
机器学习：《统计学习方法》笔记（一）—— 隐马尔可夫模型
参考:<统计学习方法>--李航:隐马尔可夫模型--码农场摘要介绍隐马尔可夫模型的基本概念.概率计算.学习方法.预测方法等内容. 正文 1. 基本概念隐马尔可夫模型是关于时序的模型,描 ...
统计学习方法学习笔记（1）统计学习方法及监督学习理论
统计学习方法及监督学习理论 1.1.统计学习 1.1.1.统计学习的特点 1.1.2.统计学习的对象 1.1.3.统计学习的目的 1.1.4.统计学习的方法 1.1.5.统计学习的研究 1.1.6.统 ...
统计学习方法-李航-第一章：统计学习方法概论-笔记1
文章目录 0 机器学习分类 0.1 监督学习 0.2 无监督学习 0.3 半监督学习 0.4 强化学习 1 统计学习方法概论 1.1 监督学习的步骤 1.2 统计学习三要素 1.3 模型评估 1.4 ...
统计学习方法——李航笔记
第一章概论统计学习的目标在于:从假设空间中选取最优模型统计学方法三要素:方法=模型+策略+算法训练集用来训练模型,验证集用来选择模型,测试集用于对学习方法的评估. 1.输入变量和输出变量均为连 ...

统计学习方法读书笔记3-感知机SVM

文章目录

1.感知机模型

2.感知机的学习策略

1.数据集的线性可分性

2.感知机学习策略

3.感知机学习算法

1.原始形式-随机梯度下降法

2.对偶形式

4.感知机算法收敛性证明

统计学习方法读书笔记3-感知机SVM相关推荐

最新文章

热门文章