embedding lookup函数

2024-05-14 20:37:47

embedding lookup函数

1.embedding

embedding现在在推荐系统、ctr预估系统中的使用无处不在。简单来理解就是，对于各种高维稀疏的特征，工作将单个特征映射成为一个低维稠密向量，将高维稀疏特征由"精确匹配"变成一个在embedding向量上的"模糊匹配"，从而提高了算法的性能，将高维稀疏特征的可用性大大提高。

2.lookup

embedding lookup本质上是用矩阵的乘法来实现的，可以将其看成一个特殊的"全连接层"。
假设embedding矩阵为一个[feature_size, embed_size]的稠密矩阵W，其中feature_size大小为n, embed_size大小为m。tensorflow中的embedding_lookup(W, id)接口，可以想象一下，一个one_hot向量，大小为[1, feature_size]，其中只有一位id1为1，其他位均为0。这个向量与W矩阵相乘，结果是为一个[1, embed_size]的向量，他就是原始的one_hot向量对应的embedding向量，实际上就是W矩阵中对应的id1行。

3.实际代码

lookup实际上就相当于下面的过程。

def demo():matrix = np.random.random([1024, 10])print matrix.shapeids = np.array([0, 10, 10, 1000])print matrix[ids]

最后代码的输出为:

(1024, 10)
[[0.33932276 0.62978868 0.7680067  0.25169595 0.11889698 0.734876710.39302831 0.71313575 0.95295298 0.06929405][0.74972394 0.08380492 0.08302023 0.2560098  0.16114254 0.771964360.8019449  0.36280887 0.2578033  0.95712909][0.74972394 0.08380492 0.08302023 0.2560098  0.16114254 0.771964360.8019449  0.36280887 0.2578033  0.95712909][0.68516928 0.32181592 0.3170977  0.67795956 0.78001478 0.878442690.09535475 0.54031062 0.80873737 0.21879871]]

tensorflow中的用法:

def demo():# 输入idsinput_ids = tf.placeholder(dtype=tf.int32, shape=[None])# 已知变量的embeddingembedding = np.asarray([[0.1, 0.2, 0.3], [1.1, 1.2, 1.3], [2.1, 2.2, 2.3], [3.1, 3.2, 3.3], [4.1, 4.2, 4.3]])# 根据input_ids中的id，查找embedding中对应的元素input_embedding = tf.nn.embedding_lookup(embedding, input_ids)with tf.Session() as sess:sess.run(tf.global_variables_initializer())print sess.run(input_embedding, feed_dict={input_ids: [2]})

最后的输出为:

[[2.1 2.2 2.3]]

embedding lookup函数相关推荐

lookup函数和vlookup_5个实用案例告诉你，为什么说Lookup函数比vlookup更简单
从前面的课程我们学习到vlookup函数的基础用法及高级使用,今天讲一个更加简单的查找函数lookup,看了下面的几个场景,你就会发现他有多么简单. 函数解析: Lookup(lookup_value ...
c语言 lookup函数怎么用_菜鸟记502用lookup和vlookup函数核对数据的一个小栗子
欢迎转发扩散点在看万一您身边的朋友用得着呢? 各位朋友早上好,小菜继续和您分享经验之谈,截止今日小菜已分享400+篇经验之谈,可以文章编号或关键词进行搜索. 微信推送规则发生改变,如果您想看到小菜每 ...
教你如何使用EXCEL中的lookup函数（摘自“MS帮助和支持”）
2008-07-05 18:07 今天妹妹问到lookup怎么用,我在网上找到了这篇文章,看了看还算简明扼要,学习之余也贴在这里,个人觉得那两个例子对理解很有帮助-CTH 概要本文介绍如何在 Mic ...
tableau必知必会之妙用 Lookup 函数同时跨行跨列取数
金融.零售.互联网等行业的用户在做数据分析时,经常需要做同比环比销售额指标的分析.这时候,就要用到 Lookup 函数了! 或许,你已会用 Lookup 函数跨行或跨列取数.但是你知道:如何同时跨固定 ...
lookup函数和vlookup_LOOKUP函数与VLOOKUP函数，你总会喜欢一个的
在Excel中有两个函数的使用频率是非常地高的,一个是VLOOKUP函数,一个是LOOKUP函数.今天小必老师带着大家就一些典型的例子一起为学习VLOOKUP与LOOKUP函数. 01 单条件正向查询 ...
lookup无序查找_学习LOOKUP 函数实现无序查询
[释疑]简要地说,从逻辑推理来看: 1 . 首先, 条件是一组逻辑判断的值或逻辑运算得到的由 TRUE 和 FALSE 组成或者 0 与非 0 组成的数组,因而: 1/( 条件 ) 的作用是用于构建一 ...
c语言中lookup函数功能,Lookup函数详解
本文转载自公众号:Excel精英培训,作者:赵志东老师,感谢赵老师无私分享! 兰色以前发过好多关于lookup函数的应用的例子,它的强大功能令很我们眼花缭乱,但绝大部分用户只停留在套用阶段,至于运算原 ...
数组和lookup函数
1 回顾统计函数 sumif函数 sumifs函数多条件求和 excel 2003没有sumifs,那么要实现多条件求和则可以利用数组 2 认识数组通俗含义:令一个区域的值等于某一个单元格值例: ...
readfile函数使用方法_1分钟学会LOOKUP函数，有网友说使用这个方法，初学者秒变大神...
Hi,大家好,本专栏将会从零开始和大家用图文的方式,30天让你从不会到熟练使用函数,0基础开始学习Excel函数,让你喜欢上它!有兴趣的小伙伴可以持续关注我,或者在专栏进行查看学习,愿与君携手共进! ...
lookup函数和vlookup_VLOOKUP和LOOKUP两个函数PK，哪个才是你心目中的查找之王？
工作中,用的最多的查找函数就是VLOOKUP和LOOKUP这2个,有人说VLOOKUP比LOOKUP更简单,也有人说LOOKUP比VLOOKUP更强大,下面几个例子我们分别通过VLOOKUP和LOOK ...

最新文章

热门文章