hi各位大佬好，我是小明哥，温故而知新，因此有些代码就是要常看，说不定会有意想不到的收获。本文是在旧版本YouTube的代码理解上进一步解析，查看sequence_mask的含义。尽管之前已经有了初步理解，但仍旧不够。

For Recommendation in Deep learning QQ Second Group 102948747
For deep learning QQ Group 629530787
I'm here waiting for you
不接受这个网页的私聊/私信！！
本宝宝长期征集真实情感经历（发在我公号：美好时光与你同行），长期接受付费咨询（啥问题都可），付费改代码。付费咨询，专属服务，快人一步！！！

1-pad_sequences补零的方法

一般user点击序列为[1,2,3,4,5,6]，按照先后顺序点击了6个，如果设置的是长度最大为10的seq，那么后面要补零操作，train_seqs=[1,2,3,4,5,0,0,0,0,0],target=[6],mask=[1,1,1,1,1,0,0,0,0,0],这是新版本所用的方法,然鹅旧版本是倒序的，train_seqs=[5,4,3,2,1,0,0,0,0,0]，其他不变

>>> seq
[5, 4, 3, 2, 1]
>>> pad_sequences([seq],10,padding='post',truncating='post',value=0)
array([[5, 4, 3, 2, 1, 0, 0, 0, 0, 0]], dtype=int32)
>>> seq
[12, 11, 10, 9, 8, 7, 6, 5, 4, 3, 2, 1]
>>> pad_sequences([seq],10,padding='post',truncating='post',value=0)
array([[12, 11, 10,  9,  8,  7,  6,  5,  4,  3]], dtype=int32)

这是两个例子，意思是越靠近现在的点击越重要。

2-mask理解，假设max_len=10

>>> u_hist_len=user_features[feature_length_name]
>>> u_hist_len
<tf.Tensor 'hist_len_1:0' shape=(None, 1) dtype=int32>
>>> mask = tf.sequence_mask(u_hist_len,10, dtype=tf.float32)
>>> mask
<tf.Tensor 'Cast_1:0' shape=(None, 1, 10) dtype=float32>
>>> mask = tf.transpose(mask, (0, 2, 1))
>>> mask
<tf.Tensor 'Transpose:0' shape=(None, 10, 1) dtype=float32>
mask = tf.tile(mask, [1, 1, embedding_size])>>> mask = tf.tile(mask, [1, 1, 16])
>>> mask
<tf.Tensor 'Tile:0' shape=(None, 10, 16) dtype=float32>

u_hist_len是用户点击的item个数，embedding_size是item embedding维度（假设为16）

到此，可以看出与之前的理解并无二致，只不过之前是取代了sequence_mask的作用，而是手动写出的mask

3-聚合方式

上述得到的mask与seq_input点乘得到序列embedding，然后除以点击item的个数u_hist_len

>>> seq_input2=tf.keras.Input(shape=(10,16),dtype=tf.float32)
>>> hist_emb = tf.reduce_sum(seq_input2 * mask, 1, keepdims=False)
>>> hist_emb.shape
TensorShape([None, 16])
hist_emb  = tf.divide(hist_emb , tf.cast(u_hist_len, tf.float32)+1e-9)

据此得到的item序列emb与user_emb拼接得到user_emb（初步），然后经过三层左右的dense得到最终的user_emb,这就是旧版YouTube的思想。

4-sampled_softmax_loss

这个玩意之前ComiRec中也是同样的操作，事实说明是一样的。融会贯通只在一刹那！

tf.nn.sampled_softmax_loss(weights=item_embs,biases=zero_bias,labels=item_target,inputs=user_embs,num_sampled=100,num_classes=item_count,)

5-获取user_emb向量

训练完成后，之前的新版YouTube及SRGNN，ComiRec等模型中，均是采用分批过模型的方式得到user_emb，这就比较Low了，而旧版YouTube则无需分批，直接由输入到输出，相当牛逼。

分析后发现，只是采用了下面的做法，输入和输出指定即可，这种看起来稍微高端点，哈哈

model.__setattr__("user_input", user_inputs_list)
model.__setattr__("user_emb", user_dnn_out)>>> user_inputs_list
[<tf.Tensor 'user_id_1:0' shape=(None, 1) dtype=int32>, <tf.Tensor 'hist_item_id_1:0' shape=(None, max_len) dtype=int32>, <tf.Tensor 'hist_len_1:0' shape=(None, 1) dtype=int32>]
user_model = tf.keras.Model(inputs=model.user_input, outputs=model.user_emb)
UserEmbeddings = user_model.predict(test_input, batch_size=**)

愿我们终有重逢之时，而你还记得我们曾经讨论的话题。

【tf1结果】

[0.04689421 0.24410692 0.02395352 0.08529405 0.00546731]

旧版本YouTube之sequence_mask相关推荐

安装旧版本插件_iOS 应用降级插件，支持任意版本升降
软件版本越来越高,功能越来越来越多,升级过后发现还是简简单单的老版本好用怎么办? 对于iOS用户来说,这还真不好办.在App Store下载的应用都是当前的最新版,安装方式也不像安卓系统需要先下载安装 ...
如何安装旧版本的 R 包
由于微信不允许外部链接,你需要点击文章尾部左下角的 "阅读原文",才能访问文中链接. 我们在安装 R 包的时候,经常会发现某个最新的包与当前 R 的版本不兼容. > inst ...
导入旧版本Android项目时的“Unable to resolve target ‘android
在Ecplise + ATD + Android SDK的开发中,导入旧版本的Android项目时,往往会出现类似的如下错误 Error:Unable to resolve target 'andro ...
ASP.NET 5 DNX SDK删除旧版本
ASP.NET 5各种升级后旧版本的DNX不会删除,想删除旧版本的DNX,可以通过以下命令完成首先打开CMD或者Powershell 1.先输入dnvm看看命令中是否有uninstall 2.如果没 ...
苹果ipa签名工具免越狱下载_苹果iphone免越狱使用iTunes 一键下载旧版本app
所需工具:iTunes 12.6.3 和苹果旧版APP下载V1.3(后台回复1077获取) 适用系统:win 哈喽大家好,欢迎来到蜜蜂科技f app更新了,更新后功能的缺失,操作步骤的繁琐,容易闪退卡 ...
picsart旧版本_PicsArt历史版下载
PicsArt旧版本是一款非常好用的手机照片编辑软件,那么中科院软件有着强大的编辑功能,拍照功能,想要你拍摄的照片有着很大的区别吗,那么快来下载这款软件使用吧. 软件介绍人人都可成为艺术家!Pics ...
怎样查看电脑系统版本_微信7.0.0自动更新后怎样去还原以前的旧版本？
今天"微信自动更新"上热搜了,不少安卓手机用户表示:今天早上打开微信,界面一片白,吓一跳,以为点错了.最后发现原来是自动更新到了7.0.0版本,但是真的,不习惯,还是喜欢以前那个老 ...
reactjs组件生命周期：componentWillReceiveProps及新旧版本生命周期钩子函数对比
reactjs组件生命周期:componentWillReceiveProps及新旧版本生命周期钩子函数对比
H3CNE新版本V6.0与旧版本V5.1的区别
H3CNE新版本V6.0与旧版本V5.1的区别华×××司于09年3月份推出了自己的新版NE培训教材V6.0版本,考试代号为GB0-190,考试价格也由原来的340元上涨到了1000元.通过分数线为6 ...

旧版本YouTube之sequence_mask

愿我们终有重逢之时，而你还记得我们曾经讨论的话题。

旧版本YouTube之sequence_mask相关推荐

最新文章

热门文章