深度学习几种典型架构

深度学习几种典型架构

http://blog.sina.com.cn/s/blog_cfa68e330102zfaf.html

介绍几种典型的深度学习架构。

卷积神经网络(CNN)

卷积神经网络由LeCun提出。在Kaggle竞赛中取得了巨大成功。

典型的卷积网络有两部分。第一个是负责特征提取，由一对或多对卷积和子采样/最大池化层组成。第二部分是经典的全连接多层感知器，将提取的特征作为输入。如下图所示。

卷积神经网络架构

长短期记忆网络（LSTM)

长短期记忆网络是比较流行的一种网络结构。

LSTM架构

长短期记忆网络用两个门来控制单元状态的内容，一个是遗忘门(forget gate)，决定了上一时刻的单元状态有多少能够保留到当前时刻；一个是输入门(input gate)，决定了当前时刻网络的输入有多少保留到单元状态。LSTM使用输出门(output gate)控制单元状态有多少输出到LSTM的当前输出值。

GRU

GRU是 LSTM 的简化版，但在大多数任务中其表现与 LSTM 不相伯仲。

GRU和LSTM对比

相比LSTM， GRU 有更少的参数，因此相对容易训练且过拟合的问题要轻一些，在训练数据较少时可以尝试使用GRU。

更简化的有迷你GRU。

迷你GRU

DB-LSTM

深度双向LSTM

卷积残差记忆网络

卷积残差记忆网络是CNN和LSTM的一种结合。

卷积残差记忆网络架构

Dynamic NTM

Evolvable Neural Turing Machines

Unsupervised Domain Adaptation By Backpropagation

Deeply Recursive CNN For Image Super-Resolution

Recurrent Model Of Visual Attention

MLP with synthetic gradients

Google’s Neural Machine Translation System

深度学习几种典型架构相关推荐

机器学习/深度学习几种典型学习范式|主动学习
机器学习/深度学习几种典型学习范式|主动学习主动学习(Active Learning,AL): Introduction 主动学习的例子应用场景成员查询合成流式选择抽样基于池的主动学习查询 ...
详解深度学习之经典网络架构（十）：九大框架汇总
目录 0.概览 1.个人心得 2.总结本文是对本人前面讲的的一些经典框架的汇总. 纯手打,如果有不足之处,可以在评论区里留言. 0.概览 (1)详解深度学习之经典网络架构(一):LeNet (2)详 ...
python实现人脸口罩检测（基于opencv和深度学习两种方法）
人脸口罩检测GUI系统(基于opencv和深度学习两种方法对比) 由于疫情的影响,人脸口罩检测系统的开发成为很多人争相开发的一种算法.很多公司或者个人都开源了他们很多的代码或者SDK.大家在GitHu ...
机器学习研究人员需要学习8种神经网络架构
翻译 | AI科技大本营(rgznai100) 参与 | 林椿眄编辑 | Donna 为什么我们需要机器学习? 机器学习可以解决人类不能直接用编程来应对的复杂难题,因此,我们喂给机器学习算法大量的数 ...
新论文推荐：Auto-Keras:自动搜索深度学习模型的网络架构和超参数
Auto-Keras 是一个开源的自动机器学习库,由美国德州农工大学(Texas A&M University)助理教授胡侠和他的两名博士生:金海峰.Qingquan Song提出.Auto- ...
语音识别 AI 挑战赛上线：用深度学习三种结构，对 50 种环境声音分类！
雷锋网 AI 源创评论按:此前,AI 研习社(https://god.yanxishe.com )陆续推出了医疗.美食.安全等多个领域的图像识别挑战赛以及 NLP 方向的挑战赛 30 余场.在这过程中 ...
搜狗大数据总监、Polarr 联合创始人关于深度学习的分享交流 | 架构师小组交流会...
架构师小组交流会是由国内知名公司技术专家参与的技术交流会,每期选择一个时下最热门的技术话题进行实践经验分享. 第一期:来自沪江.滴滴.蘑菇街.扇贝架构师的 Docker 实践分享第二期:来自滴滴.微 ...
新显卡出世，谈谈与深度学习有关的显卡架构和相关技术
欢迎访问Oldpan博客,分享人工智能有趣消息,持续酝酿深度学习质量文. 老婆,我想要煤气炉显卡的香气新显卡出世了,就在前几天. 可以说是万众期待下,老黄发布了消费级(民用级)显卡RTX2070. ...
王喆《深度学习推荐系统》推荐系统架构
推荐系统要解决什么问题?----让每个人都用着舒心对于用户来说,他在他此时浏览的每个软件场景下,能不能很快地获得让他感兴趣的信息,甚至会出现一些"惊喜",让他知道,呀,这个好! ...

深度学习几种典型架构

深度学习几种典型架构相关推荐

最新文章

热门文章