统计机器学习第二章感知机

对于线性方程w*x+b = 0

对应于空间的一个超平面S，其中w是超平面的法向量，b是超平面的截距。超平面将空间划分为两个部分，位于平面两边的点分属于正负两类。

前提：数据线性可分，可以找的一个超平面S，w*x+b = 0，能够将数据完整划分开。

输入：{(x₁,y₁),(x₂,y₂),..(x_N,y_N),}，其中y_i={-1，1}

输出：w和b。

算法的原始形式：

选取初始值w₀和b₀
在数据集中选择数据 (x_i,y_i)
如果y_i(w_ix+b)<=0, w←w+ηy_ix_ib←b+ηy_i
转到步骤2直到没有误分类点

经过有限次搜索可以找到这个分类面，不唯一，与初值选择，误分类点的选择顺序等有关。

感知机对偶，

对原始形式做变形，

w = η(y₁x₁+y₂x_{2+ +}y_ix_i) ,假设n_i 是这些数据点第i个点在训练过程中被误分类的总次数，则有

w=∑n_iηy_ix_i

如果令a_i=n_iη，则有w=∑a_iy_ix_i，同理b=∑a_iy_i

算法的对偶形式：

取 a = (a₁，a₂， a_N)^T

选取初始值a=0和b=0
在数据集中选择数据 (x_i,y_i)
如果y_i∑(a_jx_j*x_i+b)<=0, a_i←a_i+η_ib←b+ηy_i
转到步骤2直到没有误分类点
最后学习w和b可以表示为：w=∑a_iy_ix_i，b=∑aiyi

提前计算gram矩阵，降低运算量。

转载于:https://www.cnblogs.com/lancet1105/p/10341550.html

统计机器学习第二章感知机相关推荐

统计学习方法第二章感知机
原理不多描述,直接上代码原始形式 import numpy as npdef perceptron(x_arr,y_arr,eta = 1):data_mat = np.mat(x_arr)labe ...
机器学习理论《统计学习方法》学习笔记：第二章感知机
<统计学习方法>学习笔记:第二章感知机 2 感知机 2.1 感知机模型 2.2 感知机学习策略 2.2.1 数据的线性可分性 2.2.2 感知机学习策略 2.3 感知机学习算法 2.3. ...
统计学习方法笔记第二章-感知机
统计学习方法笔记第二章-感知机 2.1 感知机模型 2.2感知机学习策略 2.2.1数据集的线性可分型 2.2.2感知机学习策略 2.3感知机学习算法 2.3.1感知机算法的原始形式 2.3.2算法的 ...
中国大学MOOC胡浩基的机器学习第二章（支持向量机）兵王问题python版本——在python上初步使用libsvm
在中国大学MOOC上看了胡浩基的机器学习课程,完全面向入门人群感觉挺好.其中有关原理的部分讲的很细.(虽然有几个细节我还是没懂.......)其中在第二章的例题兵王问题中课程只给了MATLAB的版本. ...
【读书笔记】周志华机器学习第二章模型评估和选择
第二章模型评估和选择 1 欠拟合和过拟合偏差和方差 1.1 欠拟合和过拟合 1.2 偏差和方差 2 评估方法性能度量 2.1 评估方法 2.1.1 留出法 2.2.2 交叉验证法 2.2.3 自 ...
概率统计：第二章随机变量及其分布
第二章随机变量及其分布内容提要: 一. 随机变量的定义设是一个随机试验,其样本空间为,若对每一个样本点,都有唯一确定的实数与之对应,则称上的实值函数是一个随机变量(简记为). 二. ...
【统计学习方法笔记】——第二章感知机
目录前言一.感知机模型 1.1 定义 1.2 几何解释二. 感知机学习策略 2.1 数据集的线性可分 2.2 感知机学习策略三.感知机学习算法 3.1 感知机学习算法的原始形式 3.2 算法的 ...
【统计学习｜书籍阅读】第二章感知机 p25-p35
文章目录思路感知机感知机学习策略感知机学习算法感知机的原始形式感知机的对偶形式收敛性思路感知器对应于输入空间中将实例划分为正负两类的分离超平面,属于判别模型,感知机学习旨在求出将训练 ...
统计学习方法第二章作业：感知机模型原始形式与对偶形式代码实现
原始形式实现 import numpy as np import matplotlib.pyplot as pltclass Perceptron_orginal:def __init__(self, ...

统计机器学习第二章感知机

统计机器学习第二章感知机相关推荐

最新文章

热门文章

统计机器学习第二章 感知机

统计机器学习第二章 感知机相关推荐

最新文章

热门文章

统计机器学习第二章感知机

统计机器学习第二章感知机相关推荐