实体嵌入

英文是Entity Embedding。我们希望深度学习能够处理结构化数据。在处理类别特征时，常用办法包括独热编码、顺序编码等。在NLP任务处理中，词和文章的表示都得益于嵌入。我们同样可以将这个思想在结构化数据领域加以运用。

原理

假设 $N$ 表示分箱的数量， $M$ 表示嵌入的维度， $B$ 表示训练时候的批量尺寸。我们用 $\in R^{B*1}$ 代表输入数据， $\in R^{N*M}$ 表示嵌入矩阵， $\in R^{N*1}$ 表示分箱的向量中心。我们的权重。下标中 $i$ 表示数据的序号， $j$ 表示分箱的序号。
$Wij=softmax(1∣xi−cj∣+ϵ)W_{ij} = softmax(\frac 1 {|x_i - c_j| + \epsilon})$
我们最后生成的嵌入矩阵可以表示为 $\in R^{B*N}$ 。
$Vi=∑j=1NWijEjV=WEV_i = \sum_{j=1}^N W_{ij} E_j \\\\ V = WE$

代码实现

我们借助pytorch构建实体嵌入层。

import torch
import torch.nn as nn
import torch.nn.functional as Fclass EntityEmbeddingLayer(nn.Module):def __init__(self, num_level, emdedding_dim, centroid):super(EntityEmbeddingLayer, self).__init__()self.embedding = nn.Embedding(num_level, embedding_dim)self.centroid = torch.tensor(centroid).detach_().unsqueeze(1)def forward(self, x): """x: size of (batch_size, 1)"""eps = 1e-7x = x.unsqueeze(1)d = 1.0/((x-self.centroid).abs()+eps)w = F.softmax(d.squeeze(2), 1)v = torch.mm(w, self.embedding.weight)return v

适用场景

深度学习处理结构化数据。

优点

嵌入向量稠密，非稀疏
容易计算类别距离
方便可视化

缺点

暂无

Reference

NLP实战高手课，第三章，王然，极客时间

实体嵌入Entity Embedding及代码实现相关推荐

【干货】Entity Embeddings : 利用深度学习训练结构化数据的实体嵌入
[导读]本文是数据科学家Rutger Ruizendaal撰写的一篇技术博客,文章提出深度学习在非结构数据中有不错的表现,当前通过实体嵌入也可以使之在结构化数据中大放异彩.具体讲解了如何利用深度学习训 ...
Spring Boot 实体类 Entity的自动生成，利用Python实现 sql 语句快速转换成 Java 代码（一）
引言最近,自己开始学习Java后端开发,作为小白,在导师的指导下,一步步开始学习,从如何搭建springboot项目开始,连接上 MySQL 数据库之后,再创建和编写Entity.Controlle ...
C#代码生成工具:文本模板初体验使用T4批量修改实体框架(Entity Framework)的类名...
转自:http://www.cnblogs.com/huangcong/archive/2011/07/20/1931107.html 在之前的文本模板(T4)初体验中我们已经知道了T4的用处,下面就 ...
实体嵌入(向量化)：用深度学习处理结构化数据
摘要: 本文详细阐述了深度学习如何来实现处理结构化数据的方法. 嵌入源自于NLP(word2vec)中的单词学习,上图来自Aylien 本博文将涉及机器学习中两个重复出现的问题:第一个问题是深度学习在 ...
java model类_java 实体类entity，model模型，javabean的理解以及使用场景
一.java实体类entity 实体类场景:比如mvc设计中model层定义java实体对java实体类的众多理解: A. 通常定义在model层里面 B. 一般的实体类对应一个数据表,其中的属性对 ...
Embedding理解+代码
目录 Embedding 主要思想 Word2vec 主要思想两种模型: 目的: 算法一.定义超参数二.将语料库转换one-hot编码表示三.模型训练代码手动实现 skip-gram模型一 ...
实体识别+entity resolution
实体识别+entity resolution 定义:不同的数据提供方对同一个事物即实体 (Entity)可能会有不同的描述 (这里的描述包括数据格式 .表示方法等) ,每一个对实体的描述称为该实体的一 ...
创建一列矩阵数字一样吗_吴恩达深度学习笔记(122) | NLP | 嵌入矩阵Embedding Matrix...
嵌入矩阵(Embedding Matrix) 接下来我们要将学习词嵌入这一问题具体化,当你应用算法来学习词嵌入时,实际上是学习一个嵌入矩阵,我们来看一下这是什么意思. 和之前一样,假设我们的词汇表含有 ...
实体框架(Entity Framework)快速入门
实体框架 (Entity Framework )简介实体框架Entity Framework 是 ADO .NET 中的一组支持开发面向数据的软件应用程序的技术.是微软的一个ORM框架. OR ...

实体嵌入Entity Embedding及代码实现

实体嵌入

原理

代码实现

适用场景

Reference

实体嵌入Entity Embedding及代码实现相关推荐

最新文章

热门文章