感知机算法基础形式及对偶形式算法

知识预备：

数据线性可分：

对于给定数据集T={(x₁,y₁),(x₂,y₂),...,(x_n,y_n)},；若存在平面wx+b=0将正实例点和负实例点正确划分到两侧，也就是对所有y_i=+1的实例，都有wx_i+b>0,

对于所有y_i=-1的实例，都有都有wx_i+b<0；那么就称数据集T为线性可分数据。此外也可以将表现形式转为若y_i(wx_i+b)>0，则分类正确；若y_i(wx_i+b)<0分类错误，

从而有若点到面的距离若小于0，则分类错误，因此将所有错误分类的点到平面的距离进行汇总，得到总距离，不考虑，则可得到感知机的损失函数。

一、基本算法形式：

输出系数：w,b 感知机模型： f(x)=wx+b

(1) 选取初始值w₀,b₀

(2)在训练数据集中选取数据(x_i,y_i)，y_i为预先给定的样本分类

(3)若y_i(wx_i+b)≤0 （当y_i和wx_i+b异号的时候即分类错误，如本应wx_i+b大于0一侧的时候，错误分类为y_i小于0）

通过误分类一侧的点来调整w，b使得分类平面朝误分类点的一侧移动。

(4)转至（2）至训练集中不再出现误分类点

注：感知机算法所得到的平面函数具有不唯一的特点。

二、对偶形式算法：

输入：线性可分的数据集,其中，, i=1,2,....N ; 学习率η(0<η≤1);

输出：a,b; 感知机模型 ,其中a=(a₁,a₂,...,a_N)^T,y_j表示更新的方向，x_j表示由误分类点产生的更新长度a_i=n_i*η，n_i表示由每个错误分类点产生的分类平面系数的更新次数，η表示分类的步长。

(1) a=0, b=0

(2) 在训练集中选取数据(x_i,y_i)

(3)如果 ,则a_i=a_i+η, b=b+ηy_i

(4)转至（2）直到没有误分类数据

转载于:https://www.cnblogs.com/xiaochouk/p/7895984.html

感知机算法基础形式及对偶形式算法相关推荐

算法基础-十大排序算法及其优化(文末有抽奖福利哦)
算法基础-十大排序算法及其优化算法基础-十大排序算法及其优化 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Kw1LA5Q4-1607527572080)(/uplo ...
时间复杂度o(n^0.5)_算法基础1.1：算法复杂度计算（二）
1.什么是算法 2.好算法的标准 3.算法复杂度计算方法例1: 1 int sum = 0;//运行1次2 int total = 0;//运行1次3 for (int i = 1; i <= ...
算法基础：k最近邻算法
本博客所有内容均整理自<算法图解>,欢迎讨论交流~ 了解过机器学习这个概念,一定知道有一种名为k最近邻的算法,简称KNN. 对于k最近邻算法的定义,百度百科是这样给出的:K最近邻(k-Ne ...
算法基础部分6-贪心算法
算法部分基础6 一.贪心算法简述贪心算法的每一步行动总是按照某种指标选取最优的操作来进行该指标,只看眼前并不考虑以后可能造成的影响.证明方法通过替换法和数学归纳法实现. 二.贪心算法例子 1. ...
机器学习算法基础——朴素贝叶斯算法
26.朴素贝叶斯算法原理联合概率和条件概率联合概率:包含多个条件,且所有条件同时成立的概率记作:P(A,B) P(A,B)=P(A)P(B) 条件概率:就是事件A在另外一个事件B已经发生条件下的 ...
统计学习方法第二章作业：感知机模型原始形式与对偶形式代码实现
原始形式实现 import numpy as np import matplotlib.pyplot as pltclass Perceptron_orginal:def __init__(self, ...
python实现五大基本算法_算法基础：五大排序算法Python实战教程
排序是每个算法工程师和开发者都需要一些知识的技能. 不仅要通过编码实现,还要对编程本身有一般性的了解. 不同的排序算法是算法设计如何在程序复杂性,速度和效率方面具有如此强大影响的完美展示. 让我们来看 ...
光栅图形学算法基础其三（消隐算法）
一.消隐算法简述消隐的分类,如何消除隐藏线.隐藏面,主要介绍以下几个算法(他们都属于图像空间的消隐算法 ): Z缓冲区(Z-Buffer)算法扫描线Z-buffer算法区域子分割算法 1.消 ...
光栅图形学算法基础其二（裁剪算法）
光栅图形学算法的研究内容直线段的扫描转换算法多边形的扫描转换与区域填充算法直线裁剪算法反走样算法消隐算法一.裁剪简述使用计算机处理图形信息时,计算机内部存储的图 ...

感知机算法基础形式及对偶形式算法

感知机算法基础形式及对偶形式算法相关推荐

最新文章

热门文章