可微分神经计算机DNC

CNN和RNN神经网络模型在广泛的模式识别任务中表现良好。其中RNN可以以通过将“word states”转换为记忆向量（隐藏状态）处理诸如翻译，手写生成和语音识别之类的序列建模任务。但是在实践中RNN的主要变种LSTM处理长距离依赖序列需要大量的计算资源，且效果欠佳。为了解决这个问题，多种具有外存储机制的神经网络被设计出来，目前最具知名度的是Deepmind 的Differentiable Neural Computer (DNC)

通过把可训练的神经网络控制器和可读写的外部存储器进行结合，可微分神经计算机（Differentiable Neural Computer，DNC）这种混合学习型神经网络，既能像神经网络那样进行算法和参数的学习，又能像计算机那样处理复杂数据信息流。在发表于Nature的论文中，DNC是一种具有外存储器（不可训练）的特殊的循环神经网络。在每时间步 t 由可训练的控制器基于t-1 时刻的信息流与外存储器交换信息流之后线性组合两部分的预测信息决定最终输出预测。

DNC使用向量Vector来存储记忆。存储器矩阵Memory matrix的每行对应于不同的记忆。控制器通过使用接口向量Interface parameters控制一个写头控制和多个读头控制（每个读头都是由两种寻址机制线性组合而成，读头数量在结构设计中未有约束）与外存储记忆交互。记忆矩阵M∈ $R^{N\times W}$ 一行向量表示一组记忆，N行表示记忆矩阵最多可以保有多少组记忆。在每个时间步dnc接受上一时刻读头信息流与此时刻外部输入信息流组成广义dnc外部输入信息流（也就是传统LSTM对应每步外部输入inputs），经过处理发出隐藏状态，隐藏状态生成输出向量和接口向量。接口向量控制读写头控制通过读写机制与外存储矩阵交互，生成此时刻的写信息，并更新矩阵获得此时刻的读信息。读信息与输出向量线性组合生成此时刻最终输出向量。

外存储器记忆矩阵更新

其中E∈ $R^{N\times W}$ 为全1矩阵；w∈ $R^{N}$ 为写头是归一化的分布权重；e∈ $R^{W}$ 为擦除向量，取值局限于[0,1]之间；v∈ $R^{W}$ 为写入记忆向量也就是此时刻新的记忆信息；注意读写头控制变量为记忆矩阵行与行之间的相对强度，而不是具体的记忆信息向量。从左向右，先擦除后写入。在此时刻记忆矩阵更新之后，读头提取此时刻记忆矩阵读头信息流 $r_{t}$ 该信息流线性组合此时刻最终输出并且作为下一时刻输入外部输入使用。

可微分神经计算机DNC相关推荐

deepmind dnc 是干什么的下面是转载的介绍文章
本文首发于微信公众号:新智元. 下载APP 阅读本文更深度报道 1 新智元报道1 作者:闻菲胡祥杰刘小芹零夏 [新智元导读]DeepMind昨夜宣布,将其 Nature 论文研究成果.2016 年 ...
受启于做梦，DeepMind 提出压缩 Transformer，并开源书本级数据集PG-19
2020-02-13 05:33:32 作者 | 京枚编辑 | 贾伟 DeepMind最近提出一种新的长程记忆模型--Compressive Transformer(压缩Transformer),这种 ...
周志华组最新论文提出“溯因学习”，受玛雅文字启发的神经逻辑机
假设你在踢足球,球来了,你把球传给队友,"传球"这一个动作,实际上涉及两种不同的思维过程. 首先,你需要意识到脚下有个球,相当于识别(感知):其次,你需要判断把球传给哪个队友,这是 ...
深度学习(DL, Deep Learning)
深度学习(DL, Deep Learning)是机器学习(ML, Machine Learning)领域中一个新的研究方向,它被引入机器学习使其更接近于最初的目标--人工智能(AI, Artifici ...
[论文解读] Adversarial Attacks on Deep Learning Models in Natural Language Processing: A Survey
Adversarial Attacks on Deep Learning Models in Natural Language Processing: A Survey 文章目录 Adversaria ...
精排模型-从MLP到行为序列：DIN、DIEN、MIMN、SIM、DSIN
©作者 | Glenn 单位 | 腾讯研究方向 | 数据挖掘.计算广告背景如下图 [1][2],阿里妈妈的精排模型,经历了从传统 LR.MLR 到深度模型 GwEN,再到用户兴趣建模的过程. 传 ...
基于神经网络的混合计算(DNC)-Hybrid computing using a NN with dynamic external memory
前言: DNC可以称为NTM的进一步发展,希望先看看这篇译文,关于NTM的译文:人工机器-NTM-Neutral Turing Machine 基于神经网络的混合计算 Hybrid computing ...
全方位复盘GNN，12位大神寄望2021年大爆发
作者:Michael Bronstein 编译:李梦佳,贾伟近段时间,图神经网络(GNN)作为机器学习最热门的领域之一,唱盛有之,唱衰也不少. 就在前两天,一位数据科学家发表了一篇题为"为 ...
AI综述专栏 | 神经科学启发的人工智能
https://www.toutiao.com/a6698901312337084940/ 重磅干货,第一时间送达 AI综述专栏在科学研究中,从方法论上来讲,都应先见森林,再见树木.当前,人工智能科 ...
深度学习的五个能力级别
from:http://geek.csdn.net/news/detail/126467 原文:Five Capability Levels of Deep Learning AI 作者:Carlo ...

可微分神经计算机DNC

可微分神经计算机DNC相关推荐

最新文章

热门文章