Embedding在推荐系统中的应用

文章目录

Embedding在推荐系统中的应用
- Word2vec (2013, Google)
- Item2vec (2006, 微软)
- DeepWalk (2014)
- Node2vec (2016, 斯坦福大学)
- EGES (2018, 阿里巴巴)
- 局部敏感哈希 (2008)
- 其他参考文献

Word2vec (2013, Google)

原理：利用句子中词的相关性建模，利用单隐层神经网络获得词的Embedding 向量
特点：经典 Embedding方法
局限：仅能针对 词序列 样本进行训练

[4-1] MIKOLOV TOMAS,et al. Distributed representations of words and phrases and their compositionality[C].Advances in neural information processing systems.2013.
https://arxiv.org/pdf/1310.4546.pdf

[4-2] MIKOLOV TOMAS, et al. Efficient estimation of word representations in vector space[A/OL]: arXiv preprint arXiv:1301.3781 (2013).
https://arxiv.org/pdf/1301.3781.pdf

[4-3] RONG XIN,Word2vec parameter leaming explained[A/OL]: arXiv preprint arXiv:1411.2738(2014).
https://arxiv.org/pdf/1411.2738.pdf

[4-4] GOLDBERG YOAV,OMER LEVY.Word2vec Explained: deriving Mikolov et al’s negative-sampling word-embedding method[A/OL]: arXiv preprint arXiv:1402.3722(2014).
https://arxiv.org/pdf/1402.3722.pdf

Item2vec (2006, 微软)

原理：把 Word2vec 的思想扩展到任何序列数据上
特点：将Word2vec应用于推荐领域
局限：仅能针对序列样本进行训练

[4-6] [Item2vec] BARKAN OREN,NOAM KOENIGSTEIN. Item2vec: neural item embedding for collaborative filtering[C]. 2016 IEEE 26th International Workshop on Machine Learning for Signal Processing (MLSP),2016.
https://arxiv.org/vc/arxiv/papers/1603/1603.04259v1.pdf

DeepWalk (2014)

原理：在图结构上进行随机游走，生成序列样本后，利用Word2vec的思想建模
特点：易用的 Graph Embedding方法（图 ->序列，折中）
局限：随机游走进行抽样的针对性不强

[4-7] [Deepwalk] PEROZZI BRYAN,RAMI Al-RFOU,STEVEN SKIENA. Deepwalk: Online learning of social representations[C]. Proceedings of the 20th ACM SIGKDD international conference on Knowledge discovery and data mining, 2014.
https://arxiv.org/pdf/1403.6652.pdf

Node2vec (2016, 斯坦福大学)

原理：在DeepWalk的基础上，通过调整随机游走权重的方法使 Graph Embedding的结果在网络的 同质性 和 结构性 之间进行权衡
特点：可以有针对性地挖掘不同的网络特征
局限：需要较多的 人工调参 工作

[4-8] [Node2vec] GROVER,ADITYA,JURE LESKOVEC. node2vec: Scalable feature learning for networks[C]. Proceedings of the 22nd ACM SIGKDD international conference on Knowledge discovery and data mining, 2016.
https://arxiv.org/pdf/1607.00653.pdf

EGES (2018, 阿里巴巴)

原理：将不同信息对应的 Embedding 加权融合 后生成最终的 Embedding向量
特点：融合多种补充信息，解决Embedding的 冷启动 问题
局限：没有较大的学术创新，更多是 从工程角度解决多Embedding融合问题

[4-9] [EGES] WANG JIZHE, et al. Billion-scale commodity embedding for e-commerce Recommender in alibaba[C]. Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, 2018.
https://arxiv.org/pdf/1803.02349.pdf

局部敏感哈希 (2008)

原理：利用局部敏感哈希的原理进行 快速的Embedding向量最近邻搜索
特点：解决利用 Embedding 作为推荐系统召回层的快速计算问题
局限：存在小概率的最近邻遗漏的可能，需要进行较多的 人工调参。（准确率vs召回率）

[4-12] SLANEY MALCOLM,MICHAEL CASEY.Locality-sensitive hashing for finding nearest neighbors [lecture notes].IEEE Signal processing magazine 25.2, 2008: 128-131.
http://citeseerx.ist.psu.edu/viewdoc/download;jsessionid=807931B596DE2E484EA2DA3C654579D5?doi=10.1.1.160.174&rep=rep1&type=pdf

其他参考文献

[4-5] BENGIO YOSHUA, et al. A neural probabilistic language model[J].Journal of machine learning research 3, 2003: 1137-1155.
http://citeseerx.ist.psu.edu/viewdoc/download;jsessionid=01E90F09439CF6868487792E9F7C054E?doi=10.1.1.62.1441&rep=rep1&type=pdf

[4-10] [LINE] TANG JIAN, et al. Line: Large-scale information network embedding[C]. Proceedings of the 24th international conference on world wide web. International World Wide Web Conferences Steering Committee, 2015.
https://arxiv.org/pdf/1503.03578.pdf

[4-11] [SDNE] WANG DAIXIN,CUI PENG,ZHU WENWU. Structural deep network embedding[C]. Proceedings of the 22nd ACM SIGKDD international conference on Knowledge discovery and data mining, 2016.
https://www.kdd.org/kdd2016/papers/files/rfp0191-wangAemb.pdf

《深度学习推荐系统》学习笔记(5)——Embedding（论文）相关推荐

读书笔记-深度学习推荐系统4-推荐与embedding
本篇结合了书籍 <深度学习推荐系统>和吴恩达老师的视频课程 <Natural Language Processing and Word Embeddings>. embeddi ...
深度学习推荐系统实战笔记
小广告 (欢迎大家关注我的公众号"机器学习面试基地",之后将在公众号上持续记录本人从非科班转到算法路上的学习心得.笔经面经.心得体会.未来的重点也会主要放在机器学习面试上!) 序 ...
1. 大数据机器学习深度学习推荐系统学习路线
文章目录思维导图下载大数据基础 linux NGINX负载均衡 Zookeeper hadoop生态 hadoop hive hbase 大数据数据仓库数据仓库基础日志收集系统(Flume) ...
推荐系统炼丹笔记：Embedding在内存问题上的一种解法
作者:一元公众号:炼丹笔记很多朋友都会发现,修改embedding的大小能对深度模型带来非常大的影响,往往越大的embedding能带来更佳的效果,但是却因为Embedding内存的问题,没法直 ...
从未看过如此详细的深度学习推荐系统应用详解，读它！
作者丨gongyouliu 编辑丨zandy 来源 | 大数据与人工智能(ID:ai-big-data) [导读]2016年DeepMind开发的AlphaGo在围棋对决中战胜了韩国九段选手李世石,一 ...
重读Youtube深度学习推荐系统论文，字字珠玑，惊为神文
作者简介,王喆,硅谷高级机器学习工程师. 本文转载自知乎专栏 https://zhuanlan.zhihu.com/p/52169807 这里是王喆的机器学习笔记,每隔一到两周我会站在算法工程师的角度 ...
带你重读Youtube深度学习推荐系统论文，惊为神文
来源:知乎专栏作者:王喆本文约5400字,建议阅读10+分钟. 本以为毫不起眼的地方,也藏着Youtube工程师宝贵的工程经验. 这里是王喆的机器学习笔记,每隔一到两周我会站在算法工程师的角度讲解 ...
深度学习推荐系统中各类流行的Embedding方法
Embedding技术概览: 对其它Embedding技术不熟悉,可以看我的上一篇文章:深度学习推荐系统中各类流行的Embedding方法(上) Graph Embedding简介 Word2Vec和 ...
深度学习推荐系统中各类流行的Embedding方法（下）
我的个人微信公众号: Microstrong 微信公众号ID: MicrostrongAI 微信公众号介绍: Microstrong(小强)同学主要研究机器学习.深度学习.推荐系统.自然语言处理.计算 ...
重读 Youtube 深度学习推荐系统论文，字字珠玑，惊为神文
雷锋网 AI 科技评论按,本文作者王喆,本文首发于知乎专栏王喆的机器学习笔记,雷锋网 AI 科技评论获得作者授权转载. 这里是王喆的机器学习笔记,每隔一到两周我会站在算法工程师的角度讲解一些计算广告. ...

《深度学习推荐系统》学习笔记(5)——Embedding（论文）