推荐系统笔记(模型融合)

思维导图：

推荐系统在技术实现上一般划分三个阶段：挖掘、召回、排序。

模型融合：

挖掘的工作就是对用户和物品做非常深入的结构化分析，对各个角度的特征都被呈现出来，并且建好索引，供召回阶段使用，大部分挖掘工作都是离线进行的。

召回：

因为物品太多，每次给一个用户计算推荐结果时，如果对全部物品挨个计算，那将是一场灾难，取而代之的是用一些手段从全量的物品中筛选出一部分比较靠谱的

最后就是排序，针对筛选出的一部分靠谱的做一个统一的论资排辈，最后这个统一的排序就是融合

示意图如下：

在召回阶段，其实就是各种简单的，复杂的推荐算法，比如说基于内容的推荐，会产生一些推荐结果，比如基于物品的协同过滤会产生一些结果，矩阵分解会产生一些结果，等等。

总之，每种算法都会产生一些推荐结果，一般同时还附带给每个结果产生一个推荐结果，是各自算法给出来的。不同算法只负责推举出候选结果，真正最终是否推荐给用户，由另一个统一的模型说了算，这个叫做模型的融合。

典型的模型融合：逻辑回归和梯度提升决策树组合

组合原理：

在推荐系统的模型融合阶段，就要以产品目标为导向。

简单的例子：信息流推荐，如果以提高ctr为目标，则模型融合就要把预估ctr作为本职工作，这个工作一直一来就是逻辑回归完成

逻辑回归：

ctr 预估就是在推荐一个物品之前，预估一下用户点击它的概率有多大，再根据这个预估的点击率对物品排序输出。

逻辑回归经常被选来执行这个任务，它的输出值范围就是0和1之间，刚好满足点击率预估的输出，这是一个基础。因为逻辑回归是广义线性模型，相比于传统线性模型，在线性模型基础上增加了 sigmoid函数。

在对召回阶段不同算法给出的候选物品计算ctr预估时，需要：特征、权重

第一个是特征，就是向量化、向量的方式把一个用户和一个物品的成对组合表示出来。量化方式包括两种：实数和布尔。实数好理解，比如一个用户的年龄，一个用户平均在某个类上每个月的花销等，布尔，就是取值0或1，针对两种类别形式的，比如用户所在的省市，物品的每一个标签。

用户和每一个候选物品都组一下，然后以这种特征化的方式表达出来，就可以计算了，否则类别形式的字段不能直接参与计算。

第二个就是权重，每个特征都有一个权重，权重就是特征的话语权，在决定那些物品最终有机会能走到前台的选秀过程中，用户和物品对这对组合的所有特征都有投票权，只是每个特征的权重不一样，对最终计算ctr影响?️大有小。

有了特征x，还有特征的权重，也是一个维度和特征一样的向量w，通过对 x和w做点击运算，就得到一个传统线性模型的输出，再用sigmoid函数对这个值做一个变换，就得到一个0到1之间的值，也就是预估的ctr

特征工程＋线性模型，就是模型融合、ctr预估必备的方法

权重主要是损失函数最小化，就是模型的偏差是否足够小，另一个就是模型的正则化，就是看模型的方差是否足够小，学习模型的权重，经典的方法就是梯度下降一类，但是梯度下降效果收敛很慢。后来google在2013年发表新的学习算法：FTRL，一种结合L！正则和L2正则的在线优化算法

梯度提升决策树GBDT部分请看：https://blog.csdn.net/weixin_41362649/article/details/82803279

模型融合的原理虽然比较简单，但是实际应用中非常的有效。

打尽协同过滤、矩阵分解和线性模型

‘

推荐系统笔记(模型融合)相关推荐