【搜索/推荐排序】总结
文章目录
- 1.进化路线
- 2. 公式比较
1.进化路线
- LR：没有较叉项
- ->FM:LR+交叉项，一个特征一个向量
- ->FFM:一个特征对每一个field（属性名）的交互有一个向量，一个特征有一个特征矩阵。
- ->AFM:每个内积都有一个权重，求内积加权和（self-attention）
- ->FNN:预训练好的FM，输入DNN
- ->PNN:embedding layer和first hidden layer之间增加了一个product layer
- ->DeepFM：不预训练，不用人工特征，one-hot->embedding->FM/hidden
2. 公式比较
FM:系列
FM(x)=w0+∑i=1nwixi+∑i=1n−1∑j=i+1n<vi,vj>xixj,linear(x)=w0+∑i=1nwixiFM(x)=w_0 + \sum_{i=1}^nw_ix_i+\sum_{i=1}^{n-1}\sum_{j=i+1}^n<v_i,v_j>x_ix_j,linear(x)=w_0 + \sum_{i=1}^nw_ix_iFM(x)=w0+∑i=1nwixi+∑i=1n−1∑j=i+1n<vi,vj>xixj,linear(x)=w0+∑i=1nwixi
FFM(x)=w0+∑i=1nwixi+∑i=1n−1∑j=i+1n<vi,fj,vj,fi>xixjFFM(x)=w_0 + \sum_{i=1}^nw_ix_i+\sum_{i=1}^{n-1}\sum_{j=i+1}^n<v_{i,f_j},v_{j,f_i}>x_ix_jFFM(x)=w0+∑i=1nwixi+∑i=1n−1∑j=i+1n<vi,fj,vj,fi>xixj
AFM(x)=w0+∑i=1nwixi+PT∑i=1n−1∑j=i+1naij<vi,vj>xixjAFM(x)=w_0 + \sum_{i=1}^nw_ix_i+P^T\sum_{i=1}^{n-1}\sum_{j=i+1}^na_{ij}<v_{i},v_{j}>x_ix_jAFM(x)=w0+∑i=1nwixi+PT∑i=1n−1∑j=i+1naij<vi,vj>xixj
FNN(x)=mlp(lz),lz=embed(x)，embed使用预训练过FNN(x)=mlp(l_z),l_z=embed(x)，embed使用预训练过FNN(x)=mlp(lz),lz=embed(x)，embed使用预训练过
PNN（x）=mlp(lz+lp),lz=embed(x),lp=内积或外积PNN（x）=mlp(l_z+l_p),l_z=embed(x),l_p=内积或外积PNN（x）=mlp(lz+lp),lz=embed(x),lp=内积或外积
DeepFM(x)=FM(x)+mlp(embed(x))DeepFM(x)=FM(x)+mlp(embed(x))DeepFM(x)=FM(x)+mlp(embed(x))
NFM(x)=linear(x)+mlp(FM(x))NFM(x)=linear(x)+mlp(FM(x))NFM(x)=linear(x)+mlp(FM(x))
DeepCross(x)=Linear([Cross(lz),MLP(lz)]),Cross(lz)=lz+lz∗Linear1(lz)+...,lz=Embed(x)Deep_Cross(x)=Linear([Cross(l_z),MLP(l_z)]),Cross(l_z)=l_z+l_z*Linear_1(l_z)+...,l_z=Embed(x)DeepCross(x)=Linear([Cross(lz),MLP(lz)]),Cross(lz)=lz+lz∗Linear1(lz)+...,lz=Embed(x)
【搜索/推荐排序】总结相关推荐
- 【搜索/推荐排序】FM，FFM，AFM,PNN,DeepFM:进行CTR和CVR预估
文章目录 1.FM 1.1代码-是否点击预测 效果和参数量级 1.3 和其他模型的比较 SVM MF 2. FFM one-hot的比较 eg 训练注意事项 效果和参数量级 实现 3. AFM 4.F ...
- 【搜索/推荐排序】Pairwise:BPR
1.BPR 1.1 做法 构建样本对 假设背后是某个常见模型:如MF 排序对成立情况下倒推U/V向量,计算UV乘积,得到完整评分矩阵 矩阵分解:Xˉ=WHT\bar{X}=WH^TXˉ=WHT 贝叶斯 ...
- 【搜索/推荐排序】NCF，DeepCross,Deep Crossing
文章目录 1.NCF 1.1 问题:基于FM的问题 问题 动机:神经网络替代点积 1.2 NCF模型图 1.3代码 2. Deep Crossing:微软:ResNet 3.Deep&Cros ...
- 【实践】端智能在大众点评搜索推荐重排序的应用实践
猜你喜欢 0.2022年人才市场洞察及薪酬指南1.如何搭建一套个性化推荐系统?2.[免费下载]2022年1月份热门报告3.全民K歌推荐系统算法.架构及后台实现4.微博推荐算法实践与机器学习平台演进5. ...
- 美团搜索推荐多业务商品排序探索与实践
猜你喜欢 0.2021年10月热门报告盘点:<2021年轻人性生活报告>稳居榜首! 1.多目标排序在快手短视频推荐中的实践 2.内容推荐策略产品经理的方法与实践 3.京东推荐算法精排技术实 ...
- #研发解决方案介绍#基于ES的搜索+筛选+排序解决方案
郑昀 基于胡耀华和王超的设计文档 最后更新于2014/12/3 关键词:ElasticSearch.Lucene.solr.搜索.facet.高可用.可伸缩.mongodb.SearchHub.商品中 ...
- 自然语言处理技术（NLP）在推荐系统中的应用 原2017.06.29人工智能头条 作者： 张相於，58集团算法架构师，转转搜索推荐部负责人，负责搜索、推荐以及算法相关工作。多年来主要从事推荐系统以及机
自然语言处理技术(NLP)在推荐系统中的应用 原2017.06.29人工智能头条 作者: 张相於,58集团算法架构师,转转搜索推荐部负责人,负责搜索.推荐以及算法相关工作.多年来主要从事推荐系统以及机 ...
- 搜索推荐炼丹笔记：Transformer在搜索推荐中的应用
作者:九羽,公众号:炼丹笔记 BERT等Transformer模型在自然语言处理领域大放异彩之后,将Transformer应用在各个领域变成了一种潮流,包括之前文章中介绍的Image Transfor ...
- Embedding在网易严选搜索推荐中的应用
导读:向量化在业界的运用越来越广,近期也有许多文章分享过相关的主题.严选于18年下半年开始探索向量化在搜索推荐场景中的运用,从最开始基于商品召回用户的任务到后续的搜索召回.搜索个性化排序.搜索底纹.搜 ...
最新文章
- 二叉树-路径总和（递归）
- php动画,（轻松学PHP-JS篇）jQuery学习-动画
- WP7版社交程序现真容，与Bing Map的完美结合。
- 博弈论 斯坦福game theory stanford week 1.1
- Vue——整合与中文化Moment.js解决方案
- 时序分析：隐马尔可夫模型
- 单元测试——Winfrom
- 2021年末储能季，送4本面试宝典
- jQuery控制表单重置
- seo关键词互点软件报价_舟山seo关键词优化软件
- ubuntu安装pyaudio
- python pygame实现简单的网游
- 计算机表格填充,excel自动填充怎样快速填充一列？/excle填充工具
- XTTS V4.3 跨平台迁移12.1.2 HPUX -＞Oracle Linux
- 本地html本地xml文件怎么打开,处理xml文件怎么打开
- java文本域_Java Swing JTextArea：文本域组件
- 自己制作dns解析服务器,如何使用自己的DNS服务器解析域名，架设自己的DNS服务器...
- 使用Photoshop软件巧去影像的白点空洞
- 山东大学2021算法期末
- Vim常用技巧--查看不可见字符