学习总结

（1）上一个task我们提到用embedding召回，快速过滤商品，缩小候选集。但是embedding相似度如果都用余弦计算，当数据量很大时计算量很大。所以提出用【局部敏感哈希LSH】解决高维空间下，embedding最近邻问题。在每个桶内点的数量接近时，LSH最近邻查找embedding的时间复杂度为常数级别。
（2）还可以用【多桶策略】提高搜索效率和召回率：
1）基于“且”操作的多桶策略能够进一步减少候选集规模，增加计算效率，
2）基于“或”操作的多桶策略则能够提高召回率，减少漏掉最近邻点的可能性。

（3）LSH的取值（注意：一切工程问题都是取舍的问题。）：

点数越多，我们越应该增加每个分桶函数中桶的个数；相反，点数越少，我们越应该减少桶的个数；
Embedding 向量的维度越大，我们越应该增加哈希函数的数量，尽量采用且的方式作为多桶策略；相反，Embedding 向量维度越小，我们越应该减少哈希函数的数量，多采用或的方式作为分桶策略。

（4）其实LSH也有缺点：数据量太大的时候，hash的个数不好选择，另外存在hash冲突，容易降低召回率。同基于树的，基于量化的，基于的图的方法来比&#

【王喆-推荐系统】线上服务篇-(task4)局部敏感哈希相关推荐

【王喆-推荐系统】线上服务篇-(task5)部署离线模型
学习总结 (1)业界主流的模型服务方法有 4 种,分别是预存推荐结果或 Embeding 结果.预训练 Embeding+ 轻量级线上模型.利用 PMML 转换和部署模型以及 TensorFlow S ...
【王喆-推荐系统】线上服务篇-(task3)召回层
学习总结 (1)学习推荐系统中召回层的功能特点(要快速准确地过滤出相关物品,缩小候选集)和实现召回层的三个技术方案:简单快速的单策略召回.业界主流的多路召回.深度学习推荐系统中最常用的 Embeddi ...
【王喆-推荐系统】线上服务篇-(task1)线上高并发的推荐服务
学习总结 (1)"造火箭":工业级推荐服务器的具体功能,以及实现工业级高并发推荐服务的主要机制.其中,推荐服务器的具体功能主要有:模型服务.数据库接口.推荐模块逻辑.补充业务逻辑等 ...
局部敏感哈希（Locality Sensitive Hashing）二三问[2]
#写在前面的话今天的这一章有几个目的,一是回答一下各位网友在各大博客上提出的问题,然后其他博主没有回答的问题.二是纠正一些别人在写局部敏感哈希时候出现的错误.就是这么贴心有没有. #假装自己是正文的 ...
线上服务的FGC问题排查，看这篇就够了！
线上服务的GC问题,是Java程序非常典型的一类问题,非常考验工程师排查问题的能力.同时,几乎是面试必考题,但是能真正答好此题的人并不多,要么原理没吃透,要么缺乏实战经验. 过去半年时间里,我们的广告 ...
【转】线上服务的FGC问题排查，看这篇就够了！
线上服务的GC问题,是Java程序非常典型的一类问题,非常考验工程师排查问题的能力.同时,几乎是面试必考题,但是能真正答好此题的人并不多,要么原理没吃透,要么缺乏实战经验. 过去半年时间里,我们的广告 ...
分页缓冲池占用很高怎么解决_一次线上服务高 CPU 占用优化实践
线上有一个非常繁忙的服务的 JVM 进程 CPU 经常跑到 100% 以上,下面写了一下排查的过程.通过阅读这篇文章你会了解到下面这些知识. Java 程序 CPU 占用高的排查思路可能造成线上服务 ...
java河南口腔医疗机构线上服务系统计算机毕业设计MyBatis+系统+LW文档+源码+调试部署
java河南口腔医疗机构线上服务系统计算机毕业设计MyBatis+系统+LW文档+源码+调试部署 java河南口腔医疗机构线上服务系统计算机毕业设计MyBatis+系统+LW文档+源码+调试部署本源 ...
AI+音视频双引擎驱动，保司线上服务能力全面升级 | 爱分析报告
报告编委张扬爱分析联合创始人&首席分析师孙文瑞爱分析高级分析师廖耘加爱分析分析师外部专家(按姓氏拼音排序) 段磊容联云音视频负责人徐靖辰声网数字化转型政企行业总监特别鸣谢 ...

【王喆-推荐系统】线上服务篇-(task4)局部敏感哈希

学习总结

【王喆-推荐系统】线上服务篇-(task4)局部敏感哈希相关推荐

最新文章

热门文章