1. 感知机学习模型

感知机是一个二分类的线性分类问题，求解是使误分类点到超平面距离总和的损失函数最小化问题。采用的是随机梯度下降法，首先任意选取一个超平面w0和b0，然后用梯度下降法不断地极小化目标损失函数，极小化过程中不是一次使所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。假设误分类点集合M是固定的，那么损失函数L(w,b)的梯度：

随机选取一个误分类点，对w和b进行更新：

其中n是步长，又称为学习率(learning rate)，这样通过迭代可以使损失函数L(w,b)不断减小，直到训练集中没有误分类点。直观的解释：当一个实例点被误分类，即位于超平面的错误一侧时，则调整w和b的值，使分离超平面向该误分类点的一侧移动，以减少该误分类点与超平面间的距离，直至超平面越过该分类点使其正确分类[1]。注意：当训练数据集线性可分时，这个迭代是收敛的，也就是经过有限次数的迭代是可以找到最优的超平面的[1]。下面就详细讲解这个迭代的过程。

2.感知机算法的原始形式

输入：

训练数据集 T={(x₁,y₁),(x₂,y₂),...,(x_n,y_n)}，其中x₁∈Rⁿ，y_i={+1,-1},i=1, 2, ..., n，学习率η(0 < η<= 1)

输出：

w, b；感知机模型 f(x) = sign(w·x + b)

过程:

1，选取初值w, b

2，在训练集中取数据(x_i,y_i)

3，若 y_i(w·x_i+ b) <= 0 即分类不正确，则：

w= w + ηy_ix_i

b= b + ηy_i

注：因为此时分类不对，所以y_i= -1

4，转至步骤2，直到训练数据集中无误分类点

3.感知机算法的对偶形式

在原始形式中有公式：

w= w + ηy_ix_i

b= b + ηy_i

那么假设一共修改了n次，则w，b关于(x_i⁽¹⁾,x_i⁽²⁾)的增量分别为：

a_iy_ix_i和 a_iy_i(a_i= n_iη)

即：

若η=1，则a_i就是第i个点由于误分类而进行更新的次数，即a_i = n_i。

a_i越大 => 实例点更新次数越多 =>越难正确分类，换句话说：这样的实例对学习结果影响更大！

算法如下：

输入：

线性可分数据集 T={(x₁,y₁),(x₂,y₂),...,(x_n,y_n)}，其中x₁∈Rⁿ，y_i={+1,-1},i=1, 2, ..., n，学习率η(0 < η<= 1)

输出：

感知机模型 f(x) = sign( a_iy_ix_i·x + b)

过程:

1，令a = 0，b = 0

2，在训练集中取数据(x_i,y_i)

3，若

则：

a_i= a_i + η

b= b + ηy_i

4，转至2直到无误分类数据

而由于对偶形式的训练实例仅以内积形式出现

所以我们预先将训练集中实例间的内积计算出来并以矩阵形式存储，即：产生Gram矩阵（格拉姆矩阵）

G = [ x_i, y_i ]_n*n

[1] 李航，《统计学习方法》，第2章，2.3节

转载于:https://www.cnblogs.com/tenderwx/p/6680119.html

【统计学习】随机梯度下降法求解感知机模型相关推荐

统计学习笔记（2）——感知机模型
感知机学习旨在求出将训练数据集进行线性划分的分类超平面,为此,导入了基于误分类的损失函数,然后利用梯度下降法对损失函数进行极小化,从而求出感知机模型.感知机模型是神经网络和支持向量机的基础.下面分别从 ...
深度学习初级课程 3.随机梯度下降法
深度学习初级课程 1.单一神经元 2.深度神经网络 3.随机梯度下降法 4.过拟合和欠拟合 5.剪枝.批量标准化 6.二分类问题应用.用TPU探测希格斯玻色子正文介绍在前两节课中,我们学习了如 ...
深度学习基础之-2.2用梯度下降法求解w,b
用梯度下降法求解w,b. 预设函数 Hypothesis Function z=wx+bz = wx+bz=wx+b 损失函数 Loss Function J(w,b)=12(z−y)2J(w,b) ...
深度学习入门之SGD随机梯度下降法
SGD SGD为随机梯度下降法.用数学式可以将 SGD 写成如下的式(6.1). 这里把需要更新的权重参数记为W,把损失函数关于W的梯度记为 ∂L/∂W .ηηη 表示学习率,实际上会取 0.01 或 ...
梯度下降法和随机梯度下降法的区别
这几天在看<统计学习方法>这本书,发现梯度下降法在感知机等机器学习算法中有很重要的应用,所以就特别查了些资料. 一.介绍梯度下降法(gradient descent)是求解无约 ...
一篇详解带你再次重现《统计学习方法》——第二章、感知机模型
个性签名:整个建筑最重要的是地基,地基不稳,地动山摇. 而学技术更要扎稳基础,关注我,带你稳扎每一板块邻域的基础. 博客主页:七归的博客专栏:<统计学习方法>第二版--个人笔记创作不易 ...
梯度下降法、随机梯度下降法、批量梯度下降法及牛顿法、拟牛顿法、共轭梯度法
http://ihoge.cn/2018/GradientDescent.html http://ihoge.cn/2018/newton1.html 引言李航老师在<统计学习方法>中将 ...
机器学习：随机梯度下降法
1.梯度下降 1)什么是梯度下降? 因为梯度下降是一种思想,没有严格的定义,所以用一个比喻来解释什么是梯度下降. 简单来说,梯度下降就是从山顶找一条最短的路走到山脚最低的地方.但是因为选择方向的原因, ...
批量梯度下降法（BGD）、随机梯度下降法（SGD）和小批量梯度下降法（MBGD）
在机器学习中,对于很多监督学习模型,需要对原始的模型构建损失函数,接下来便是通过优化算法对损失函数进行优化,以便找到最优的参数. 梯度下降法作为机器学习中较常使用的优化算法,在其求解过程中,只需要求解 ...

【统计学习】随机梯度下降法求解感知机模型

1. 感知机学习模型

2.感知机算法的原始形式

3.感知机算法的对偶形式

【统计学习】随机梯度下降法求解感知机模型相关推荐

最新文章

热门文章