推荐模型-上下文感知-2017：AFM模型【FM家族】【NFM的改进版】【引入Attention机制】
AFM可以看作是对NFM功能的增强，实际上NFM的作者参与到了AFM的研究当中。AFM模型的最大贡献是将Attention机制引入到了特征交叉模块。在NFM的BI层，对交叉特征的向量进行Sum Pooling时是没有权重的，对所有的特征交叉都一视同仁，平等对待。但实际中，不同的特征组合对结果的影响程度是有差别的，通过Attention机制可以显式地将这些差异学习出来，增加了信息量，可以对模型的效果带来提升，同时还对可解释性带来了帮助。例如在广告推荐场景中，对于特征组合“女性+曾经购买过化妆品”对是否购买“口红”商品的影响要强过特征组合“30岁+宁波”。
AFM的核心是在特征交叉层与输出层之间，增加了Attention网络，结构如图5所示。
其中Pair-wise Interaction Layer跟NFM中的Bi-Interaction Layer（去除Pooling的话）是一样的。AFM的核心是Attention-based Pooling层，公式如下：
两两向量交叉之后，与一个注意力分数a相乘，表示这组交叉对于最终输出的影响程度，其中a也是通过训练学到的。论文中采用了一个MLP来实现Attention Net，用来学习a。采用MLP的另一个好处是对于从未出现过的特征组合也具备一定的泛化能力。该注意力网络是一个简单的全连接加上softmax作为输出。
AFM最终的输出如下列公式：
除了带注意力机制的交叉部分外，依然保留了线性部分。还可以看出，相对于NFM，AFM没有后面的DNN部分。不过从各种组合模型相对丰富的今天来看，读者完全可以根据自己的数据特点做模型的扩展和修改。
参考资料：
神经网络中的几个FM家族模型（FNN、NFM、AFM、DeepFM）
推荐模型-上下文感知-2017：AFM模型【FM家族】【NFM的改进版】【引入Attention机制】相关推荐
- 推荐模型-上下文感知-2016：FNN模型【FM家族】【FM+MLP=FNN】
Weinan Zhang1 et al. "Deep Learning over Multi-field Categorical Data" in ECIR 2016 FNN模型是 ...
- NLP-生成模型-2014：Seq2Seq【缺点：①解码器无法对齐编码器（Attention机制）；②编码器端信息过使用或欠使用（Coverage机制）；③解码器无法解决OOV（Pointer机制）】
<原始论文:Sequence to Sequence Learning with Neural Networks> Seq2Seq(多层LSTM-多层LSTM)+Attention架构是T ...
- 在RNN模型中引入注意力机制（Attention）
此前的文章介绍过Seq2seq模型,并将其用于机器翻译.Seq2seq模型的一个问题在于随着输入句子越来越长,更早输入的单词就很大可能会被忘掉.于是,随着输入句子中单词数变多,翻译质量就会很快劣化.改 ...
- 因子分解机(FM)家族
写在前面的话 在深度学习(Deep Learning,以下简称DL)大行其道的今天,因子分解机(Factorization Machines,以下简称FM)以其模型简单.可解释性强等优点在搜索广告 ...
- RS Meet DL(59)-FM家族的新朋友FAT-DeepFFM
今天给大家介绍的文章标题是:<FAT-DeepFFM: Field Attentive Deep Field-aware Factorization Machine> 文章下载地址是:ht ...
- AI同传效果媲美人类，百度翻译出品全球首个上下文感知机器同传模型
鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI AI同传领域又有新进展,这次突破来自百度. 百度机器翻译团队创新性地提出了全球首个感知上下文的机器同传模型,并基于此发布了最新的语音到语音 ...
- 推荐算法之AFM模型（注意力机制的引入）
前言 前面已经将结果很多推荐系统+深度学习的基础模型了,从这篇文章开始也进入到了注意力机制的章节.在AFM开始,大家都不再局限于将特征进行两两交互问题上面,而是开始探索一些新的结构."Att ...
- 注意力机制在深度推荐算法中的应用之AFM模型
1 前言 注意力机制来源于人类最自然的选择性注意的习惯,例如当用户浏览网页或图片时,会选择性的注意页面上特定的区域.基于此现象,在建模的过程中考虑注意力机制,往往会取得不错的收益. 注意力机制已经广泛 ...
- 注意力机制在推荐模型中的应用——AFM、DIN、DIEN
"注意力机制"来源于人类最自然的选择性注意的习惯.最典型的例子是用户在浏览网页时,会选择性地注意页面的特定区域,忽视其他区域.正是基于这样的现象,在建模过程中考虑注意力机制对预测结 ...
最新文章
- kubernetes1.4版本遇到的坑
- onnx 测试_ONNX 现场演示教程
- [No0000E6]C# 判断与循环
- 前端 js 非控件 使用标签打印机 打印二维码和文本_青岛Web前端（HTML5）面试题分享...
- Linux下Rails3 + Lighttpd + fcgi部署研究
- 1000 驱动_布加迪首款SUV渲染图曝光！采用纯电驱动，马力或将突破1000匹！
- 赋值给集合_当面试官问集合遍历的删除方法时，要警惕这里有个异常陷阱
- JSP自定义标签（2）
- Opencv之缺少api-ms-win-downlevel-shlwapi-l1-1-0
- 用python算股票β系数_请教达人：Stata中计算多只股票月度beta系数的do文件怎么编写？...
- 砌体的弹性模量计算_3.2 砌体的计算指标
- OpenCV学习01-加载、修改、保存图像
- 牛X，网易开源了这个项目后，结果被山寨出了无数个网易云音乐APP，网友炸锅了！...
- 商场三十六计——第22计 “关门捉贼”
- 蓝牙发射功率dBm换算，发射总能量公式
- 最新人工智能GPT-4免费简单使用教程
- 使用 Metasploit 利用 OpenSSH 用户枚举漏洞 (CVE-2018-15473, CVE-2016-6210, CVE-1999-0502)
- PR字幕怎么去黑色背景
- android5 网络请求时 FileNotFoundException android兼容性原因
- 618京东和天猫打得火热，笑得最开心的却是直播巨头？