基本概念

线性可分：在特征空间中可以用一个线性分界面正确无误地分开两类样本；采用增广样本向量，即存在合适的增广权向量 a 使得：

则称样本是线性可分的。如下图中左图线性可分，右图不可分。所有满足条件的权向量称为解向量。权值空间中所有解向量组成的区域称为解区。

通常对解区限制：引入余量b，要求解向量满足：

使解更可靠（推广性更强），防止优化算法收敛到解区的边界。

感知准则函数及求解

对于权向量a，如果某个样本yk被错误分类，则。我们可以用对所有错分样本的求和来表示对错分样本的惩罚：

其中Yk是被a错分的样本集合。当且仅当JP(a*) = min JP(a) = 0 时，a*是解向量。这就是Rosenblatt提出的感知器（Perceptron）准则函数。

感知器准则函数的最小化可以使用梯度下降迭代算法求解：

其中，k为迭代次数，η为调整的步长。即下一次迭代的权向量是把当前时刻的权向量向目标函数的负梯度方向调整一个修正量。

因此，迭代修正的公式为：

即在每一步迭代时把错分的样本按照某个系数叠加到权向量上。

通常情况，一次将所有错误样本进行修正不是效率最高的做法，更常用是每次只修正一个样本或一批样本的固定增量法：

收敛性讨论：可以证明，对于线性可分的样本集，采用这种梯度下降的迭代算法：

经过有限次修正后一定会收敛到一个解向量。

理论结论：只要训练样本集是线性可分的，对于任意的初值 a(1) ，经过有限次叠代，算法必定收敛。

感知器是最简单可以“学习”的机器，可以解决线性可分的问题。当样本线性不可分时，感知器算法不会收敛。实际应用中直接使用感知器的场合并不多，但他是很多复杂算法的基础。

（转载请注明作者和出处：http://blog.csdn.net/xiaowei_cqu 未经允许请勿用于商业用途）

【模式识别】感知器 Perceptron相关推荐

模式识别感知器matlab,模式识别：感知器的实现
在之前的模式识别研究中,判别函数J(.)的参数是已知的,即假设概率密度函数的参数形式已知.本节不考虑概率密度函数的确切形式,使用非参数化的方法来求解判别函数.由于线性判别函数具有许多优良的特性,因此这 ...
感知器(perceptron)模型分析及实现
感知器模型分析及实现 1. 感知器模型 2. 几何意义 3. 感知器模型的训练 4. 批处理训练过程 4.1 训练数据的规范化 4.2 批处理感知器算法实现代码 \qquad 感知器 (percep ...
基于 iris 数据集采用感知器 Perceptron 实现线性二分类
基于 iris 数据集采用感知器 Perceptron 实现线性二分类题目简述: 基于 iris 数据集(四个特征,三个类别),选取两个特征和两个类别,采用感知器 Perceptron 实现线性二分 ...
【Python-ML】SKlearn库感知器(perceptron) 使用
# -*- coding: utf-8 -*- ''' Created on 2018年1月12日 @author: Jason.F @summary: Scikit-Learn库感知器学习算法 '' ...
感知器 Perceptron
基本概念线性可分:在特征空间中可以用一个线性分界面正确无误地分开两类样本:采用增广样本向量,即存在合适的增广权向量 a 使得: 则称样本是线性可分的.如下图中左图线性可分,右图不可分.所有满足条 ...
模式识别感知器算法matlab,模式识别第三章-感知器算法.doc
模式识别第三章-感知器算法模式识别第三章感知器算法一．用感知器算法求下列模式分类的解向量w: 将属于的训练样本乘以(-1),并写成增广向量的形式: ,,, ,,, 第一轮迭代:取, 因不大于0, ...
感知器Perceptron
//perceptron.h #ifndef PERCEPTRON_H__ #define PERCEPTRON_H__#include <stdio.h> #include <st ...
3. 机器学习中为什么需要梯度下降_【干货】机器学习 | 为什么机器能“学习”？——感知器和梯度下降...
大家好我是梁力天,今天我来给大家整理一下感知器 (perceptron model) 和梯度下降算法 (gradient descent) 的知识. source: https://cs.stanfo ...
python实现二分类_感知器做二分类的原理及python numpy实现
本文目录: 1. 感知器 2. 感知器的训练法则 3. 梯度下降和delta法则 4. python实现 1. 感知器[1] 人工神经网络以感知器(perceptron)为基础.感知器以一个实数值向量 ...

【模式识别】感知器 Perceptron

基本概念

感知准则函数及求解

（转载请注明作者和出处：http://blog.csdn.net/xiaowei_cqu 未经允许请勿用于商业用途）

【模式识别】感知器 Perceptron相关推荐

最新文章

热门文章