关于widedeep的再思考

如果一个item在全局上被点击(或其他正反馈行为)次数过少，在排序侧把item id粒度特征直接喂入dnn做embedding，由于样本量过少，此类稀疏id特征对应的模型参数很难收敛。

干脆把item id这个field的embedding size调小呢？看似解决了稀疏特征参数收敛的问题，但却引来了新的问题：对于有充足正反馈的那部分id来说，需要用较大容量的隐向量表达语义，现在embedding size被调小了，显然限制了这部分id特征的表达。

如果此时把id特征只放到wide&deep的lr侧，用于记忆历史行为呢？同样地，这对有充足正反馈的那部分id也不公平。

问题本质上，是为每一维特征量身定制embedding size的问题。

我们知道，决定embedding size的主要因素有两个：特征信息容量和特征稀疏度*样本量。

如何获得每维特征的最佳embedding size呢？

微信公众号：world2vec

欢迎关注

关于widedeep的再思考相关推荐

EventBus/EventQueue 再思考
EventBus/EventQueue 再思考 Intro 之前写过两篇文章,造轮子系列的 EventBus/ EventQueue,回想起来觉得当前的想法有点问题,当时对 EvenStore 可能有 ...
2d 蓝图_“蓝图”卷积--对深度可分离卷积的再思考
论文:Rethinking Depthwise Separable Convolutions: How Intra-Kernel Correlations Lead to Improved Mobil ...
任何举动之前，先思考，思考，再思考
任何举动之前,先思考,思考,再思考--<Windows用户态程序高效排错>之读书笔记之所以会读<Windows用户态程序高效排错>这本书,是因为某个卖存储的技术大拿不停地给我 ...
论文解读二十七：文本行识别模型的再思考
摘要:本文研究了两个解码器(CTC[1]和 Transformer[2])和三个编码器模块(双向LSTM[3].Self-Attention[4]和GRCL[5]),通过大量实验在广泛使用的场景和手写 ...
SPOOLing技术的再思考
SPOOLing技术的再思考 @(OS) 首先看什么是SPOOLing. Simultaneous Peripheral Operation On-Line 通过这个名称基本上就可以知道很多事情.外部 ...
光通信的再思考：5G流量爆发下的数据密度革命
来源:未来智库 1.投资要件区别于市场的观点: (1)市场对 5G 时代流量爆发的认知不足.市场认为当前大带宽高流量新应用的爆发趋势尚不明显,当前流量增长需求不清.我们认为,5G 时代的流量的爆发将 ...
关于第一型曲面积分的再思考
关于第一型曲面积分的再思考 @(微积分) 有些问题,看着复杂,却很好解.同样,有些问题看着很简单,但是却很难下手.举一个关于第一型曲面积分计算的例子. 第一型曲面积分基础解法要干三件事: 投影代入 ...
重读GPDB 和 TiDB 论文引发的 HTAP 数据库再思考
为什么要再思考? 大家好,我是阿福,之前我在社区 Paper Reading 活动中分享了 Greenplum 团队在 2021年 SIGMOD 上发表的论文:<Greenplum: A Hyb ...
【秒杀下单再思考】
秒杀下单再思考 - 由reids数据倾斜问题如何解决引发的思考问题背景:用db扣减库存+redis.lock解决超卖问题,并发量并不能提很高,考虑redis中扣减库存,秒杀方案:redis.get( ...

关于widedeep的再思考

关于widedeep的再思考相关推荐

最新文章

热门文章