Neural Tensor Network详细介绍

文章目录

前言
思想
NTN

前言

论文原文：Reasoning With Neural Tensor Networks
for Knowledge Base Completion。
作者比较有名，有吴恩达。

这个神经网络是2013年提出来的，所以非常简单，你现在看他就跟玩一样，尤其是你如果训练过词向量（2013年mikolov那篇）的话，这篇的讲解你会跟喝水一样简单。

思想

为什么说简单？因为2013年的时候NLP流行做嵌入，这里也不例外，所以是无监督模型。

这篇论文的目的就是说：我们要设计一个网络，给定一个知识图谱的三元组(e1,r,e2)，判断这个三元组合不合法，合法你就输出高一点的值，不合法就输出低一点的值。

比如对于输入的三元组（孟加拉虎，有，尾巴），你的神经网络需要输出高一点的值。

有人会问，我们直接把上面那个三元组在知识图谱里面查询不就完事了嘛？查到了就是合法，查不到就是不合法。

现在的问题在于，知识图谱是不完整的，比如知识图谱里面只有这样的信息：孟加拉虎属于老虎，老虎有尾巴。如果是用逻辑的方法是可以推出来（孟加拉虎，有，尾巴），但是，现在我们不想用逻辑的方法，因为逻辑需要事先制定好规则，耗费人力，我们要用神经网络的方法。

NTN

你要是学过开头说的那个词向量，就会这么做：把知识图谱已有的三元组当作正样本，然后替换已有的三元组，比如把（老虎，有，腿）替换成（苹果，有，腿）等等。这样，我们就有了很多很多的正样本和负样本。然后扔到神经网络中，希望正样本输出大值，负样本输出小值。解决！

那么现在很简单了，我们只需要设计好这个网络，其接受一个三元组作为输入，输出一个值。

Neural Tensor Network：为什么叫做tensor，有人懵逼，甚至有人不知道为什么Pytorch里面也叫tensor，这是因为，通常matrix矩阵特指二维，高维的都叫张量，即tensor，numpy中叫做ndarray，即n dimensional array，n维数组，也行吧。

既然NTN以tensor命名，说明其里面有高维数组，即如下的WRW_{R}WR

上面这个公式，配合下面食用。

点评：所以，如果你学过多头注意力机制，其实那个tensor你可以认为其实就是k个头，分别变换k次，然后把结果拼在一起。

最后，我们神经网络定义好了，就希望正样本输出越大越好，负样本输出越小越好，也就是说正样本的输出-负样本的输出越大越好（最大化边际margin），从而有如下损失函数

那个c就是负样本，最后面那个是一个正则项。

上面这个函数已经见多不怪了，你在知识图谱的嵌入学习里面会见到好多这个。

原论文解读，你还可以参看这位兄弟的：https://blog.csdn.net/yexiaohhjk/article/details/86374735，我只是负责介绍网络。不过，话说回来，这篇论文挺好懂得，我跟你说了思想后，你可以直接看原文了。

完

Neural Tensor Network详细介绍相关推荐

图数据集Zachary‘s karate club network详细介绍，包括其在NetworkX、PyG上的获取和应用方式
诸神缄默不语-个人CSDN博文目录文章目录 1. 原始数据 2. NetworkX中的数据 3. PyG中的数据 1. 原始数据维基百科:Zachary's karate club - Wikip ...
【阅读笔记】Reasoning With Neural Tensor Networks for Knowledge Base Completion
前言论文地址 Poster Abstract 这篇论文里,作者介绍了一个适用于推理两个实体关系的神经网络(Neural Tensor Network).相比之前的工作要么将实体表示成离散的最小单元或 ...
卷积神经网络超详细介绍
文章目录 1.卷积神经网络的概念 2. 发展过程 3.如何利用CNN实现图像识别的任务 4.CNN的特征 5.CNN的求解 6.卷积神经网络注意事项 7.CNN发展综合介绍 8.LeNet-5结构分析 ...
卷积神经网络超详细介绍（转载）
卷积神经网络超详细介绍文章目录 1.卷积神经网络的概念 2. 发展过程 3.如何利用CNN实现图像识别的任务 4.CNN的特征 5.CNN的求解 6.卷积神经网络注意事项 7.CNN发展综合介绍 8 ...
【目标检测】56、目标检测超详细介绍 | Anchor-free/Anchor-based/Backbone/Neck/Label-Assignment/NMS/数据增强
文章目录 1.双阶段和单阶段目标检测器 1.1 双阶段目标检测器 1.1.1 R-CNN 1.1.2 SPP 1.1.3 Fast R-CNN 1.1.4 Faster R-CNN 1.2 单阶段目标 ...
【语义分割】1、语义分割超详细介绍
文章目录一.分割方法介绍 1.1 Fully Convolutional Networks [2015] 1.1.1 FCN 1.1.2 ParseNet 1.2 Encoder-Decoder B ...
卷积神经网络（CNN）超详细介绍
文章转自:https://blog.csdn.net/jiaoyangwm/article/details/80011656 文章目录 1.卷积神经网络的概念 2. 发展过程 3.如何利用CNN实现图 ...
卷积神经网络超详细介绍1
1.卷积神经网络的概念 2. 发展过程 3.如何利用CNN实现图像识别的任务 4.CNN的特征 5.CNN的求解 6.卷积神经网络注意事项 7.CNN发展综合介绍 8.LeNet-5结构分析 9.Al ...
DTI脑网络构建详细介绍处理过程以及PANDA的使用
基本概念: 首先介绍一下DTI(Diffusion Tensor Imaging),即弥散张量成像,是MRI的一种特殊形式.举例来说,如果说核磁共振成像是追踪水分子中的氢原子,那么弥散张量成像便是依据 ...

Neural Tensor Network详细介绍

文章目录

前言

思想

NTN

Neural Tensor Network详细介绍相关推荐

最新文章

热门文章