《文哥的学习笔记——推荐系统遇上深度学习》笔记（1~9）
原地址文哥的学习笔记
本文仅从个人角度进行记录学习，很多内容记录不全面，并且原文提供了代码，建议有需要的读者阅读大佬原文进行学习。
第一篇 FM模型理论和实践：
1、CTR预估(click-through rate)
2、FM：考虑了高阶的特征组合（一般只用二阶），通过矩阵分解用辅助向量求解特征组合的权重矩阵。好处：参数数量减少；参数因子化使得xhxi的参数和xhxj的参数不再相互独立，因为有了xh特征关联，减少数据稀疏性造成的影响。
第二篇 FFM模型理论和实践：
1、在FFM中，每一维特征 xi，针对其它特征的每一种field fj，都会学习一个隐向量 v_i,fj。主要用于解决稀疏性。
2、同一个categorical特征经过One-Hot编码生成的数值特征都可以放到同一个field
3、FFM将问题定义为分类问题，使用的是logistic loss，同时加入了正则项
第三篇 DeepFM模型理论和实践：
1、对于离散特征的处理，我们使用的是将特征转换成为one-hot的形式，但是将One-hot类型的特征输入到DNN中，会导致网络参数太多。解决方法：类似于FFM中的思想，将特征分为不同的field。输入时不是一个非常大的全连接层，而是不同field的特征使用不同的分别的全连接网络提取，结果进行拼接，输入到后面的全连接层。
2、DeepFM包含两部分：神经网络部分与因子分解机部分，分别负责低阶特征的提取和高阶特征的提取，主要由FM和DNN两部分组成，底部共享同样的输入
第四篇 多值离散特征的embedding解决方案
1、多值离散特征：一个特征中有多个值（[a,b,c]）
2、一种解决方案：embedding后取平均
第五篇 Deep&Cross Network：
1、DCN模型从嵌入和堆积层开始，接着是一个交叉网络和一个与之平行的深度网络，之后是最后的组合层，它结合了两个网络的输出
2、对于Onehot的特征，为了减少维数，采用嵌入过程将这些离散特征转换成实数值的稠密向量（通常称为嵌入向量）。嵌入向量与连续特征向量拼接作为后面的输入。
3、交叉网络的核心思想是以有效的方式应用显式特征交叉，深度网路用于捕捉高度非线性的相互作用
第六篇 PNN模型理论和实践
1、Product-based Neural Network
2、product layer可以分成两个部分，一部分是线性部分lz，一部分是非线性部分lp
第七篇 NFM模型理论和实践
1、FM模型只能表达特征之间两两组合之间的关系，无法建模两个特征之间深层次的关系或者说多个特征之间的交互关系，因此学者们通过Deep Network来建模更高阶的特征之间的关系。 FM和DNN的结合有两种主流的方法：并行结构和串行结构。NFM模型(Neural Factorization Machine)，便是串行结构中一种较为简单的网络模型。
| 结构 | 描述 | 常见模型 |
|---|---|---|
| 并行结构 | FM部分和DNN部分分开计算，只在输出层进行一次融合得到结果 | DeepFM，DCN，Wide&Deep |
| 串行结构 | 将FM的一次项和二次项结果(或其中之一)作为DNN部分的输入，经DNN得到最终结果 | PNN,NFM,AFM |
2、目标值的预测公式变为，f(x)是用来建模特征之间交互关系的多层前馈神经网络模块。
3、NFM本质上还是基于FM，FM会让一个特征固定一个特定的向量，当这个特征与其他特征做交叉时，都是用同样的向量去做计算。这个是很不合理的，因为不同的特征之间的交叉，重要程度是不一样的
第八篇 AFM模型理论和实践
1、AFM模型(Attentional Factorization Machine)，便是串行结构中一种网络模型。
2、AFM在FM的基础上添加了attention的机制，使得特征和其他不同特征交叉时使用不同的向量。
第九篇 评价指标AUC原理及实践
1、混淆矩阵，准确率，精确率，召回率，F-1 Score
2、ROC与AUC。ROC曲线的横轴为“假正例率”（False Positive Rate,FPR)，又称为“假阳率”；纵轴为“真正例率”(True Positive Rate,TPR)，又称为“真阳率”，假阳率，简单通俗来理解就是预测为正样本但是预测错了的可能性，显然，我们不希望该指标太高。真阳率，则是代表预测为正样本但是预测对了的可能性
3、可以直接优化AUC来训练分类器。源自知乎
《文哥的学习笔记——推荐系统遇上深度学习》笔记（1~9）相关推荐
- 推荐系统遇上深度学习，9篇阿里推荐论文汇总！
作者 | 石晓文 转载自小小挖掘机(ID: wAIsjwj) 业界常用的推荐系统主要分为两个阶段,召回阶段和精排阶段,当然有时候在最后还会接一些打散或者探索的规则,这点咱们就不考虑了. 前面九篇文章中 ...
- 知识图谱论文阅读（八）【转】推荐系统遇上深度学习(二十六)--知识图谱与推荐系统结合之DKN模型原理及实现
学习的博客: 推荐系统遇上深度学习(二十六)–知识图谱与推荐系统结合之DKN模型原理及实现 知识图谱特征学习的模型分类汇总 知识图谱嵌入(KGE):方法和应用的综述 论文: Knowledge Gra ...
- 推荐系统遇上深度学习(九十二)-[腾讯]RecSys2020最佳长论文-多任务学习模型PLE
今天介绍的是腾讯提出的一种新的多任务学习个性化推荐模型,该论文荣获了RecSys2020最佳长论文奖,一起来学习下! 1.背景 多任务学习通过在一个模型中同时学习多个不同的目标,如CTR和CVR,最近 ...
- 推荐系统遇上深度学习(三十九)-推荐系统中召回策略演进！
推荐系统中的核心是从海量的商品库挑选合适商品最终展示给用户.由于商品库数量巨大,因此常见的推荐系统一般分为两个阶段,即召回阶段和排序阶段.召回阶段主要是从全量的商品库中得到用户可能感兴趣的一小部分候选 ...
- 推荐系统遇上深度学习(八十七)-[阿里]基于搜索的用户终身行为序列建模
本文介绍的论文是<Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Thr ...
- 推荐系统遇上深度学习(二十六)--知识图谱与推荐系统结合之DKN模型原理及实现
作者:石晓文 Python爱好者社区专栏作者个人公众号:小小挖掘机 添加微信sxw2251,可以拉你进入小小挖掘机技术交流群哟!博客专栏:wenwen 在本系列的上一篇中,我们大致介绍了一下知识图谱在 ...
- 推荐系统遇上深度学习(二十)--探秘阿里之完整空间多任务模型ESSM
笔者是一个痴迷于挖掘数据中的价值的学习人,希望在平日的工作学习中,挖掘数据的价值,找寻数据的秘密,笔者认为,数据的价值不仅仅只体现在企业中,个人也可以体会到数据的魅力,用技术力量探索行为密码,让大数据 ...
- 推荐系统遇上深度学习(二十二):DeepFM升级版XDeepFM模型强势来袭！
今天我们要学习的模型是xDeepFM模型,论文地址为:https://arxiv.org/abs/1803.05170.文中包含我个人的一些理解,如有不对的地方,欢迎大家指正!废话不多说,我们进入正题 ...
- 推荐系统遇上深度学习(十五)--强化学习在京东推荐中的探索
强化学习在各个公司的推荐系统中已经有过探索,包括阿里.京东等.之前在美团做过的一个引导语推荐项目,背后也是基于强化学习算法.本文,我们先来看一下强化学习是如何在京东推荐中进行探索的. 本文来自于pap ...
最新文章
- python使用fpdf创建pdf并写入hello world
- Sparsity稀疏编码（三）
- priority_queue
- vivo手机解锁工具_屏幕指纹优势凸显，vivo持续研发致力打造全屏指纹解锁
- boost::phoenix模块使用 istreambuf_iterator 测试 lambda 函数对象
- 文末送书|增强现实：原理与实践
- 作业要求 20181030-1 Alpha发布用户使用报告
- Opencv的使用教程,opencv比较全的基础教程
- 林子雨 慕课答案2021新版
- 特斯拉员工手册与马斯克的工作建议
- BH1750光照传感器
- Python爬虫：给我一个链接，虎牙视频随便下载
- CSS 开源资源大全收集
- realsense中IMU的简单使用与学习
- spa 搜索引擎_夜场SPA搜索引擎收录排名，持久排名
- python 多行注释的使用_Pyhton中单行和多行注释的使用方法及规范
- Python代替Excel VBA，原来真的可以
- 数学建模美赛O奖论文研读启示录——从模仿开始
- 指定的网络名不再可用的解决方法
- Kotlin极简教程(第一章 Kotlin简介)