感知机 - 对偶形式

对偶形式的基本思想：
将w和b表示为样本（书中术语为实例）xix_ixi和标记和标记和标记yiy_iyi的线性组合形式，通过求解其系数而求得w和b

但变形之后的感知机就从参数学习算法变成了非参数学习算法。因为它的算法模型中还要用到训练数据集X和y

模型

f(x)=sign(∑j=1majyjxj⋅x+b)sign(x)={+1,x≥0−1,x<0f(x) = sign(\sum_{j=1}^m a_jy_jx_j \cdot x + b) \\ sign(x) = \begin{cases} +1, && x \ge 0 \\ -1, && x \lt 0 \end{cases} f(x)=sign(j=1∑majyjxj⋅x+b)sign(x)={+1,−1,x≥0x<0
其中，m为样本数，n为样本的特征数

策略

感知机的损失函数是一个经验风险函数：
L(w,b)=−∑xi∈Myi(∑j=1majyjxj⋅xi+b)L(w, b) = - \sum_{x_i \in M}y_i (\sum_{j=1}^m a_jy_jx_j \cdot x_i + b) L(w,b)=−xi∈M∑yi(j=1∑majyjxj⋅xi+b)
其中M是误分类点的集合

感知机的学习策略是从假设空间中选取使损失函数最小的模型参数a, b

算法

学习模型的具体方法
感知机对偶形式使用随机梯度下降法
{anew=aold+ηbnew=bold+ηyi(4)\begin{cases} a_{new} = a_{old} + \eta \\ b_{new} = b_{old} + \eta y_i \end{cases} \tag {4} {anew=aold+ηbnew=bold+ηyi(4)

第2章感知机 - 对偶形式相关推荐

复现经典：《统计学习方法》第 2 章感知机
本文是李航老师的<统计学习方法>[1]一书的代码复现. 作者:黄海广[2] 备注:代码都可以在github[3]中下载. 我将陆续将代码发布在公众号"机器学习初学者", ...
机器学习理论《统计学习方法》学习笔记：第二章感知机
<统计学习方法>学习笔记:第二章感知机 2 感知机 2.1 感知机模型 2.2 感知机学习策略 2.2.1 数据的线性可分性 2.2.2 感知机学习策略 2.3 感知机学习算法 2.3. ...
李航统计学习方法第2章感知机
第2章感知机介绍感知机模型, 叙述感知机的学习策略, 特别是损失函数; 最后介绍感知机学习算法,包括原始形式和对偶形式, 证明算法的收敛性. 感知机模型 f ( x ) = s i g n ( w ...
统计学习方法笔记第二章-感知机
统计学习方法笔记第二章-感知机 2.1 感知机模型 2.2感知机学习策略 2.2.1数据集的线性可分型 2.2.2感知机学习策略 2.3感知机学习算法 2.3.1感知机算法的原始形式 2.3.2算法的 ...
《统计学习方法》—— 感知机原始形式、感知机对偶形式的python3代码实现（三）
前言在前两篇博客里面,我们分别介绍了感知机的原始形式和感知机的对偶形式.在这篇博客里面,我们将用python3对上述两种感知机算法进行实现. 注意:本文参考了@akirameiao的博客内容.数据放 ...
《人工智能》机器学习 - 第6章感知机模型（一理论讲解）
6.1引言 PLA全称是Perceptron Linear Algorithm,即线性感知机算法,属于一种最简单的感知机(Perceptron)模型.感知机(perceptron)是二分类的线性分类模 ...
统计机器学习第二章感知机
对于线性方程w*x+b = 0 对应于空间的一个超平面S,其中w是超平面的法向量,b是超平面的截距.超平面将空间划分为两个部分,位于平面两边的点分属于正负两类. 前提:数据线性可分,可以找的一个超平面 ...
【统计学习方法笔记】——第二章感知机
目录前言一.感知机模型 1.1 定义 1.2 几何解释二. 感知机学习策略 2.1 数据集的线性可分 2.2 感知机学习策略三.感知机学习算法 3.1 感知机学习算法的原始形式 3.2 算法的 ...
【统计学习｜书籍阅读】第二章感知机 p25-p35
文章目录思路感知机感知机学习策略感知机学习算法感知机的原始形式感知机的对偶形式收敛性思路感知器对应于输入空间中将实例划分为正负两类的分离超平面,属于判别模型,感知机学习旨在求出将训练 ...

第2章感知机 - 对偶形式

感知机 - 对偶形式

模型

策略

算法

第2章感知机 - 对偶形式相关推荐

最新文章

热门文章

第2章 感知机 - 对偶形式

感知机 - 对偶形式

模型

策略

算法

第2章 感知机 - 对偶形式相关推荐

最新文章

热门文章

第2章感知机 - 对偶形式

第2章感知机 - 对偶形式相关推荐