CNN与MLP之间的关系,优缺点
CNN的计算过程:
很多书或论文也将MLP和CNN区别开来,但是实际MLP只是CNN的一个特例,也就是说MLP本身也是CNN,以下为简要的论述。
上图为CNN的计算过程,这里的输入为 3x3 的图片,卷积核大小也为 3x3 ,这里的stride为0,计算公式为
MLP的计算过程:
MLP实际是1*1的卷积,n个卷积核就将原来的d维变为n维.
下图为MLP的计算过程(为了方便MLP的计算过程图权重W被拆开了实际为9x3的矩阵,而输入计算时应该先转置,输出也是需要转置,即 1x9 dot 9x3 = 1x3)
计算公式为(点号为点乘,dot)
上面我们可以看到,CNN和MLP计算过程实际对应数值标号是完全一致的,也就是说上两图MLP和CNN计算过程完全等价,可以互相转换。显然可以推导出,当CNN卷积核大小与输入大小相同时其计算过程等价于MLP,也就是说MLP等价于卷积核大小与每层输入大小相同的CNN(如输入图片为100x100,卷积核大小为100x100),所以MLP是CNN的一个特例。而卷积核大小与每层输入大小相同会直接丢失非常多的输入空间信息,所以MLP这种运行模式不适合图像这种空间信息丰富的数据。
所以理论上我们只需要研究CNN就可以了,当然相对而言MLP比CNN更简单,更容易研究
他们之间的差异:
一、MLP(Multilayer Perceptron) 多层感知机
1、网络有很多隐层组成
2、每个神经元都和上一层中的所有节点连接
3、参数量大、训练难度大
4、会丢失像素间的空间信息,只接受向量输入
二、CNN(Convolutional Neural Network) 卷积神经网络
1、局部稀疏连接,参数少
2、接受矩阵输入,利用像素间空间关系
3、可以引入池化、空洞卷积
MLP(多层感知机)只是CNN(卷积网络)的一个特例_u010165147的博客-CSDN博客_mlp层
MLP与CNN - 简书
CNN与MLP之间的关系,优缺点相关推荐
- OpenVX中 graph与node之间的关系,以及在CNN中的定位
OpenVX中 graph与node之间的关系,以及在CNN中的定位 很多小伙伴都知道,OpenVX是用来处理图像的一组API,核心是kernel函数的实现,OpenVX对于图像处理是调用底层硬件的G ...
- 论文阅读课3-GraphRel: Modeling Text as Relational Graphs for(实体关系联合抽取,重叠关系,关系之间的关系,自动提取特征)
文章目录 abstract 1.Introduction 2.相关工作 3.回顾GCN 4.方法 4.1第一阶段 4.1.1 Bi-LSTM 4.1.2 Bi_GCN 4.1.3 实体关系抽取 4.2 ...
- ConvMLP:你见过长得像CNN的MLP吗?UOUIUC提出了用于视觉任务的层次卷积MLP
关注公众号,发现CV技术之美 本文分享论文『ConvMLP: Hierarchical Convolutional MLPs for Vision』,由 UO&UIUC 提出 ConvMLP: ...
- 计算材料学中的四巨头之间的关系
第一性原理.密度泛函理论.从头算和分子动力学之间的关系 首先.第一性原理是First Principle,.不是从头算(ab initio),也不是DET,更不是分子动力学. 分子模拟有两个层面的东西 ...
- 浅谈三层架构、MVC之间的关系
什么是三层架构? 各个层的作用 实体层的作用 什么是MVC? 概念 职能 设计模式 三层架构.MVC之间的关系 关系示意图 三层的优缺点 MVC的优缺点 什么是三层架构? 三层架构(3-tier ar ...
- 人工智能、机器学习、深度学习及三者之间的关系
导读:什么是机器学习,什么是人工智能,什么是深度学习,这些名词概念我们一直有听说,但是也很容易混淆 这是小编的其他文章,希望对大家有所帮助,点击即可阅读 人工智能常用的十大算法 人工智能数学基础 ...
- 人工智能、机器学习、深度学习之间的关系
人工智能.机器学习.深度学习之间的关系 一.人工智能 二.机器学习 三.深度学习 三者之间的关系 参考资料 一.人工智能 人工智能(Artificial Intelligence),英文缩写为AI.它 ...
- python类与类的关系_python 类与类之间的关系
一.依赖关系(紧密程度最低) (1)简单的定义:就是方法中传递一个对象.此时类与类之间存在依赖关系,此关系比较低. (2)实例植物大战僵尸简易版 题目要求:创建一个植物,创建一个僵尸 1.植物:名字. ...
- Day-16 面向对象03 类与类之间的关系
一.类与类之间的依赖关系 我用着你,但是你不属于我,这种关系是最弱的,比如,公司和雇员之间,对于正式员工,肯定要签订劳动合同,还得小心伺候着,但是如果是兼职,那无所谓,需要了你就来,不需要你就可以拜拜 ...
最新文章
- NR 5G NG-AP(NG接口)介绍
- 多线程:中断(interrupt、interrupted、executor)
- audio标签下方有空隙的原因与解决方法
- Django(part25)--字段查询
- linux中匿名用户怎么登陆_南京课工场IT培训:Linux中vsftpd服务配置(匿名,用户,虚拟用户)...
- eclipse 安装图形插件(图形化编程)
- 先学php还是thinkphp,我的PHP学习历程——ThinkPHP起步
- SELinux 基础命令
- c语言求20项FBNC,大学C语言 结业作业 暗影行者
- 精通PHP的十大要点
- Linux 命令 速记
- oracle中imp命令详解,Oracle中imp命令详解
- Python TIN网生成(Delaunay三角形)
- [转]多普达818、828+升级中文WM6.1及必装软件全过程讲解
- 牛牛的跳跳棋(贪心)
- /etc/rc0.d----rc3.d---rcS.d这些目录的意义
- 顺序图-循环和分支-操作符的使用
- SPI串行外围设备接口
- 计算机程序员笔试,历年计算机的软考程序员笔试部分真题
- 【NJUPT】 马克思主义基本原理1/2
热门文章
- WebSocket知识点总结
- Python模块开发【Distutils】
- QQ音乐:React v16 新特性实践
- Configure a VLAN on top of a team with NetworkManager (nmcli) in RHEL7
- 技术博客么?开始每天一更
- Android中WebView加载本地Html,与JavaScript与Android方法相互传值(续)...
- mysql异地增量备份工具_利用 xtrabackup 工具实现增量备份 mysql(附脚本)
- 树形结构 —— 树与二叉树
- Jzzhu and Chocolate(CF-449A)
- 局域网(信息学奥赛一本通-T1391)