感知机：Perceptron Learning Algorithm

感知机是支持向量机SVM和神经网络的基础

f = sign(wx+b)

这样看起来好像是LR是差不多的，LR是用的sigmoid函数，PLA是用的sign符号函数，两者都是线性分类器，主要的差别在于策略不同，即损失函数不同。

LR是用的均方误差，PLA是用的误分类点到分离超平面的总距离。

感知机模型：

f = sign(wx+b)

几何解释：

wx+b = 0是一个超平面s，w是s的法向量，b是超平面的截距。

理想情况下，s把正负类分开。

感知机学习策略：

损失函数的选取是：误分类点到超平面s的总距离

空间中一个点x0到s的距离：

|wx0+b|/||w||

误分类点到s的距离：

-y0*(wx0+b)/||w||

不考虑系数||w||，那么损失函数是：

L（w，b） = -Σyi(wxi+b),其中(xi,yi)是误分类点

PLA的算法也就是解损失函数的最小值的方法是随机梯度下降法

损失函数L的梯度：

gradwL = -Σyixi

gradbL = -Σyi

1.选取初始参数w,b

2.从误分类点中随机选取一组：(xi,yi)

3.更新w = w + ηyixi

　　　b = b + ηyi

4.再挑选误分类点，再更新，直到没有误分类点

转载于:https://www.cnblogs.com/stAr-1/p/8134808.html

感知机：Perceptron Learning Algorithm相关推荐

Hinton神经网络公开课编程练习1 The perceptron learning algorithm
为什么80%的码农都做不了架构师?>>> 本文由码农场同步,最新版本请查看原文:http://www.hankcs.com/ml/the-perceptron-learning ...
《On the Momentum Term in Gradient Descent Learning Algorithm》原文解读
############博主前言####################### 我写这篇文章的目的: 想必很多人听过神经网络中的momentum算法, 但是为啥叫momentum(动量)算法呢? 和物 ...
DBN训练学习-A fast Learning algorithm for deep belief nets
转载自:http://blog.sciencenet.cn/blog-110554-889016.html DBN的学习一般都是从Hinton的论文A Fast Learning Algorithm ...
Machine Learning - Coursera week6 Evaluating a learning algorithm
Evaluating a learning algorithm 1. Design what to do next 在预测房价的学习例子,假如你已经完成了正则化线性回归,也就是最小化代价函数J的值.假 ...
DGM: A deep learning algorithm for solving partial differential equations
论文信息题目: DGM: A deep learning algorithm for solving partial differential equations 作者及单位: Justin Sir ...
The machine learning algorithm cheat sheet
本文地址: ![The machine learning algorithm cheat sheet](https://img-blog.csdnimg.cn/20181122171923920.pn ...
【论文笔记】A Meta-Reinforcement Learning Algorithm for Causal Discovery
目录 Abstract 1 MOTIVATION AND CONTRIBUTION 2 PRELIMINARIES AND NOTATION 3 WORKING ASSUMPTIONS 4 REINF ...
联想记忆计算机网络,模糊联想记忆网络的增强学习算法-An Augmentation Learning Algorithm of Fuzzy Associative Memory...
模糊联想记忆网络的增强学习算法舒桂清,肖平(广东省科技干部学院计算机与电子工程系,广州 510640;华南理工大学电子与通信工程系,广州 510641) 摘要针对 Kosko提出的最大最小模糊联 ...
ELLA：An Efficient Lifelong Learning Algorithm不完全记录
摘要学习多个连续任务的问题,即终身学习.本文开发了一种在终身学习环境下的在线多任务学习方法.所提出的高效终身学习算法(ELLA)为所有任务模型保持了一个稀疏共享的基础,将知识从基础转移到学习每个新任 ...

感知机：Perceptron Learning Algorithm

感知机：Perceptron Learning Algorithm相关推荐

最新文章

热门文章