入门-神经元模型,感知机与多层网络
M-P模型
1943年,McCulloch and Pitts抽象出了“M-P神经元模型”,神经元接受到来自nn个其他神经元传递过来的输入信号,通过带权重的值连接传递,神经元接受到的总输入值与神经元的阈值进行比较,通过激活函数(activation function)处理输出。
激活函数
理想中的激活函数如下图所示的阶跃函数,它将输入值映射为输出值0 (对应于神经元抑制)或 1(对应于神经元兴奋)。
但是,阶跃函数在(0,0)(0,0)处出现断点,是非连续函数。
因此,需要找一个近似于阶跃函数的连续函数替代它。
这个函数便是SigmoidSigmoid函数。如图b所示:
sigmoid(x)=11+e−xsigmoid(x)=\frac{1}{1+e^-x}
并且它有一个非常好的性质:
f(x)′=f(x)(1−f(x))f(x)'=f(x)(1-f(x))
感知机
感知机由两层神经元组成,输入层接受外界输入信号后传递给输出层,输出层是M-P神经元。如下图所示,
机器学习到底学的是什么
如上图所示的w1,w2w_1,w_2,是连接2个神经元间的权值。更一般地,给定训练数据集,确定权重wi(i=1,2,3...,n)w_i(i=1,2,3...,n)以及阈值θ\theta的过程,便是学习的主要目标,这就是学习到的东西。
再看感知机
感知机只有输出层神经元进行激活函数处理,属于一层功能神经元(functional neuron),其学习能力非常有限。
对于这个一层功能神经元模型,只能处理线性可分的问题,比如与,或,非的问题,对这些问题的学习,感知机一定可以收敛,并且存在一个线性超平面将它们分开,如下图所示,可以求得适当的权向量w=(w1;w2;...;wn+1)w=(w_1;w_2;...;w_n+1)。
观察上图d
发现它有两个超平面来包裹了一个区域,求解异或问题,已经不是线性问题了,而是非线性问题,需要考虑一种解决非线性问题的网络。
飞跃到多层功能神经元
如下图所示,是两层感知机(两层功能神经元)。
输出层与输入层之间的一层神经元,称为隐含层(hidden layer)。
隐含层和输出层都是拥有激活函数的功能神经元。
多层前馈神经网络
更一般地,常见的神经网络是如图所示的层级结构,每层神经元与下一层神经元互联,神经元之间存在同层连接,也不存在跨层连接。这样的网络结构称为“多层前馈神经网络”(mutli-layer feedforward neural networks)。
参考
本文属于常规概念总结,参考周志华 《机器学习》
入门-神经元模型,感知机与多层网络相关推荐
- 5.2 感知机和多层网络
5.2 感知机和多层网络 感知机(perception)由两层神经元组成,如图5.3所示,输入层接受外界输入信号后传递给输出层,输出层是M-P神经元,亦称为"阈值逻辑单元" 感知机 ...
- 感知机与多层网络,解决异或问题可视化
感知机与多层网络 声明:在阅读本文时,手里最好配备一本<机器学习>,以做好 ...
- 深度学习入门系列1:多层感知器概述
本人正在学习<deep learning with python>–Jason Brownlee,有兴趣的可以一起学习. 仅供学习参考,不做商用! 大家好,我技术人Howzit,这是深度学 ...
- PyTorch 笔记(14)— nn.module 实现简单感知机和多层感知机
autograd 实现了自动微分系统,然而对深度学习来说过于底层,而本节将介绍 nn 模块,是构建于 autograd 之上的神经网络模块. 1. 简单感知机 使用 autograd 可实现深度学习模 ...
- 去中心化云存储技术 | CESS 的多层网络架构详解
区块链以其特有的分布式算法和技术底层,让链上数据也随着区块链的不同实现了分布式存储,CESS(Cumulus Encrypted Storage System)去中心化云储存网络基础设施,让我们看到了 ...
- TensorFlow入门(五)多层 LSTM 通俗易懂版
欢迎转载,但请务必注明原文出处及作者信息. @author: huangyongye @creat_date: 2017-03-09 前言: 根据我本人学习 TensorFlow 实现 LSTM 的经 ...
- 神经网络:多层网络与C++实现
相关源码可参考最新的实现:https://github.com/ronnyyoung/EasyML ,中的neural_network模块,后持续更新,包括加入CNN的结构. 一.引言 在前一篇关于神 ...
- 网络编程懒人入门(二):快速理解网络通信协议(下篇)
1.前言 本文上篇<网络编程懒人入门(一):快速理解网络通信协议(上篇)>分析了互联网的总体构思,从下至上,每一层协议的设计思想.基于知识连贯性的考虑,建议您先看完上篇后再来阅读本文. 本 ...
- 网络编程懒人入门(一):快速理解网络通信协议(上篇)
1.写在前面 论坛和群里常会有技术同行打算自已开发IM或者消息推送系统,很多时候连基本的网络编程理论(如网络协议等)都不了解,就贸然定方案.写代码,显得非常盲目且充满技术风险. 即时通讯网论坛里精心整 ...
最新文章
- 大工20春计算机原理在线作业二,大工20春《计算机原理》在线作业【答案满分】...
- DataList之数据操作
- 用PHP实现POP3邮件的收取(一)
- 跨站点脚本(xss)_跨站点脚本(XSS)和预防
- 北京中信银行总行地址_中信银行拉萨分行举行“存款保险标识”启用和存款保险条例宣传活动...
- SAP License:SAP顾问你算哪根葱?
- python深度学习第四讲——python神经网络参数更新
- JBoss 系列三十七:jBPM5示例之 Rule Task
- 计算机病毒是指______.,计算机病毒是指
- 个人电脑bt文件服务器,简单实用 教你轻松架设个人BT服务器
- wxpython控件旋转_wxPython修改文本框颜色过程解析
- 京东商城SPU、SKU是如何设计的
- CSDN博客QQ加群、微信
- PV(访问量)、UV(独立访客)、IP(独立IP) (转)
- 解决 Access denied for user'root'@'IP地址'
- 每日必应壁纸API接口源码
- 计算机专业必读哪两本经典书籍?
- 关于粽子的生产产线提速
- RS232接口转USB接口的通信方法
- 如何使用Arduino制作摩尔斯电报翻译器