1.神经元模型

在生物神经网络中，每个神经元与其他神经元相连，当它“兴奋”时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位。如果某神经元的电位超过了一个“阈值”，那么它就会被激活，即“兴奋”起来。

1943年，心理学家McCulloch和数学家Pitts提出了第一个抽象的神经元模型，称为MP模型。MP模型是人工神经网络的基本单元，如下图所示：

其中，向量 $x = (x_{1},x_{2},...,x_{n})^{T}$ 是神经元模型的输入，为第i个神经元到第n个神经元的输出。 $w = (w_{1},w_{2},...,w_{n})^{T}$ 是与输入相对应权值。在输入和神经元之间通常还有一个偏置（图上未画），这里记为b，神经元的输出为y。

整个过程为：神经元接收来自 n个其他神经元传递过来的输入信号x，将输入 x 和所对应的权值W 相乘后再求和，得到神经元接收到的总输入值 $\sum x_{i}w_{i}$ ，然后通过激活函数f处理产生神经元最终的输出y，如下式所示：

$y = f(\sum_{i = 0}^{n} w_{i}x_{i}+b)$

激活函数f用于模拟人脑部神经元对输入的信息进行处理并判断是否产生对应的响应，即是否“兴奋”。常见的激活函数有：

阶跃函数

其中z表示阈值，即当输入x超过阈值z时（一般情况下z=0），激活函数的输出为1，表示神经元被激活，否则被抑制。但是可以看出，其函数输出是不连续的，为此更多地采用sigmoid函数。

Sigmoid函数

Sigmoid函数是在定义域内连续递增的函数，把输入映射到0到1之间，其中被映射到1，被映射到0。同样会设置一个阈值，当sigmoid函数的输出大于这个阈值时，神经元模型被激活。

它们的图像如下：

MP模型虽然简单，却建立了神经网络大厦的地基。但是MP模型中，权重的值都是预先设置的，因此不能学习

2.感知器

2.1 基本结构

感知器模型（Perceptron）是在1958年由计算科学家Rosenblatt首先提出的。感知器由两层神经元组成，分别为输入层和输出层构成。输入层接收外界输入信号后传递给输出层，输出层是 M-P 神经元，也就是说只有输出层神经元进行激活函数处理。如下图所示：

感知器的计算公式如下所示：

$y = f(\sum_{i = 0}^{n} w_{i}x_{i}+b)$

所采用的激活函数f为sign函数：

$sign(x) = \left\{\begin{matrix} 1, x \geqslant 0 & \\ -1,x <0& \end{matrix}\right.$

可以把感知机看作是n维实例空间中的超平面决策面，对于超平面一侧的实例，感知器输出1，即正例；对于另一侧的实例输出 -1，即负例。这个决策超平面方程就是 $wx+b = 0$ （n=2的话，即二维实例空间，此时感知机退化成一条直线）。那些可以被某一个超平面分割的正反样例集合称为线性可分样例集合，换句话说，感知机是一种线性的分类模型，不能完成非线性的分类。

从计算表达式上来看，感知器模型与神经元模型并没有明显区别，但是实际上主要的区别有三点：
（1）感知器的输入变成了一层神经元，而神经元模型的输入为其他神经元的输出信号；
（2）感知器的激活函数为sign函数，而神经元模型的激活函数可以是sign函数，也可以是sigmoid函数等；
（3）感知器可以采用有监督的方式学习到参数值，而神经元模型的参数是不能被学习的。

2.2 损失函数

感知器最大的亮点就是在于可以利用梯度下降算法来自主更新参数，为此必须要建立起损失函数。定义感知机的损失函数之前需要明确以下几点：

（1）当 $wx+b > 0$ , $y = +1$ ，即数据被预测为正例；当 $wx+b < 0$ , $y = -1$ ，数据被预测为负例，因此对于正确分类的数据都满足 $y(wx+b) > 0$ ，分类错误的数据 $y(wx+b) < 0$ 。

（2）点到平面的距离计算公式为： $d = \frac{|wx + b|}{||w||}$

所以定义感知机的损失函数可以让误分类的数据到直线的距离和最小，此时误分类点到超平面的距离是：

$d_{i} = -\frac{y_{i}(wx_{i} + b)}{||w||}$

这样，假设超平面S的误分类点集合为M，那么所有误分类点到超平面的总距离为:
$\frac{1}{||w||} \sum_{i = 0}^{M} y_{i}(wx_{i} + b)$

不考虑 $\frac{1}{||w||}$ ，就得到了感知机学习的损失函数：

$L(w,b) =-\sum_{i = 0}^{M} y_{i}(wx_{i} + b)$

显然，损失函数是非负的。如果没有误分类点，损失函数的值为0。而且误分类点越少，误分类点离超平面越近，损失函数的值就越小。

为什么损失函数可以不考虑1/||

【神经网络】神经元模型和感知器相关推荐

人工神经网络：多层感知器
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一.今日所学二.今日重点前言虽然异或问题成为感知器和早期神经网络的阿喀琉斯之踵,但它并非无解的问题.恰恰相反,解 ...

神经网络 - 用单层感知器实现多个神经元的分类 - （Matlab建模）
训练样本矩阵: P = [0.1 0.7 0.8 0.8 1.0 0.3 0.0 –0.3 –0.5 –1.5; 1.2 1.8 1.6 0.6 0.8 0.5 0.2 ...

笔记+R︱信用风险建模中神经网络激活函数与感知器简述
每每以为攀得众山小,可.每每又切实来到起点,大牛们,缓缓脚步来俺笔记葩分享一下吧,please~ --------------------------- 本笔记源于CDA-DSC课程,由常国珍老师主讲 ...

神经网络基础知识--感知器，S型神经元，梯度下降法，神经网络架构
感知器和S型神经元简介 1.1感知器感知器是如何⼯作的呢?⼀个感知器接受⼏个⼆进制输⼊,x1, x2, -,并产⽣⼀个⼆进制输出: ⽰例中的感知器有三个输⼊,x1, x2, x3.通常可以有更多或更 ...

MATLAB神经网络工具箱中感知器权值和阈值的学习函数learnp
我先把代码贴过来!慢慢研究! function [out1,out2] = learnp(varargin) %LEARNP Perceptron weight/bias learning funct ...

【深度学习】感知器、线性神经网络案例应用、BP神经网络算法详细推导
感知器.线性神经网络.BP神经网络及手写数字识别 1. 单层感知器 1.1 感知器的介绍 1.2 感知器的学习规则 1.3 感知器单输入输出示例 1.4 学习率 η\etaη 1.5 模型训练收敛条件 ...

人工神经网络——感知器介绍
让我们来看一个经典的神经网络.这是一个包含三个层次的神经网络.红色的是输入层,绿色的是输出层,紫色的是中间层(也叫隐藏层).输入层有3个输入单元,隐藏层有4个单元,输出层有2个单元.后文中,我们统一使 ...

感知器原理及线性分类技术实现
在说起感知器之前,需要先说一下神经网络的定义: 神经网络是由具有适应性的简单单元组成的广泛并行互联的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应. 感知器(M-P神经元模型) 感 ...

感知器（Perceptron）
转载自:http://blog.163.com/zzz216@yeah/blog/static/16255468420107875552606/ 感知器是由美国计算机科学家罗森布拉特(F.Rosebl ...

深度学习入门系列1：多层感知器概述
本人正在学习<deep learning with python>–Jason Brownlee,有兴趣的可以一起学习. 仅供学习参考,不做商用! 大家好,我技术人Howzit,这是深度学 ...

最新文章

vue无缝滚动的插件开发填坑分享

广义hough变换matlab,matlab – 广义Hough R表

How to use USB to do charger detection instead of PMIC?

OpenCV函数 Canny 检测边缘

halcon学习笔记——（1）单摄像机标定

非计算机专业的学生,简谈非计算机专业的计算机教育

使用Spring编写和使用SOAP Web服务

内部服务器如何提供访问服务

13号线ab线规划图_南宁地铁线最新规划（20202035年）！喜添8条轨道普线、1条环线和4条快线…...

干货：18 张思维导图，后端技术学习路线长这样！

构建一个pool来管理无刷新页面的xmlhttp对象

YAML_06 playbook从上往下顺序执行，若报错,不提示，继续往下执行

ASP+Access+Dreamweaver+IIS搭建简单数据库管理系统_第一章_前言

【大学复习】算法与数据结构试卷分析

开启密钥轮换（仅适用由密钥管理服务生成的密钥）

cannot open shared object file

利用云服务器自动发送天气预报邮件

kali Linux的设置和优化(双系统)

《深度学习》笔记（一）

python预测糖尿病_实战 | 糖尿病预测项目

热门文章

unity让物体做圆周运动、椭圆运动、双曲线运动

mysql数据库练习题（含答案）

环境工程学期末复习完整版

ros　buntu安装手册_超详细 ROS安装教程

如何判断矩阵的谱半径 C语言,矩阵谱半径

在 Laravel 项目中使用 Elasticsearch 做引擎，scout 全文搜索(小白出品, 绝对白话)

python短时傅里叶变换_短时傅里叶变换(Short Time Fourier Transform)原理及 Python 实现...

第一章绪论 1.2 时域采样定理及其应用

个人学习C语言的目标

机械零件设计手册_NASA Fastener Design Manual 紧固件设计手册 - 翻译 2/14