推荐系统回顾，FFM引入特征域进一步增强了模型的表达能力。大规模分段线性模型LS-PLM

传统推荐模型的发展主要经历了四个阶段：

协同过滤CF算法阶段：只需用户物品共现矩阵就可以构建推荐系统，根据相似度取值对象可分为itemCF和userCF两类，优势是简单易实现。CF的问题是泛化能力弱，无法应对稀疏矩阵，而矩阵分解作为协同过滤的进化版，克服了CF的缺点。
逻辑回归LR阶段：综合利用用户、物品、上下文等多种不同的特征，假设用户是否点击广告服从伯努利分布，将推荐问题转化为点击率预估(CTR)问题，预测正样本概率对物品进行排序。其数学形式是各个特征的加权和经过sigmoid函数，得到用户点击物品的概率。LR的优势是可解释性强、易于并行化、模型简单、训练开销小。其局限性在于表达能力不强，需要大量具有业务背景知识的人工特征筛选与交叉。
因子分解机FM阶段：为每个特征学习一个隐向量，在特征交叉时，使用两个特征隐向量的内积作为交叉特征的权重。虽然FM相比POLY2的完全交叉+单一权重记忆能力略弱，但解决了特征交叉过程中交叉特征对应的数据过于稀疏无法充分学习权重的问题。FFM引入特征域进一步增强了模型的表达能力，做特征交叉时，每个特征选择与对方域对应的隐向量的内积作为交叉特征的权重，但FFM的计算复杂度也由kn上升到kn*n。
组合模型阶段：这一阶段主要是为了进一步提高特征交叉的维度，同时融合多个模型的优点。GBDT+LR是组合模型的代表方案，GBDT自动进行特征筛选和组合得到新的离散特征向量输入LR模型。GBDT+LR的组合方式开启了特征工程模型化的趋势，真正实现端到端训练。

这一章的最后作者单独介绍了阿里巴巴曾经的主流推荐模型：大规模分段线性模型(LS-PLM)，又称为MLR(Mixed Logistic Regression，混合逻辑回归)。该模型从淘宝的业务特性出发，对不同用户群体、不同使用场景下的样本单独进行CTR预估。具体方法是先对全量样本聚类，再对每个分类里的样本使用LR进行CTR预估。

LS-PLM模型大规模分段线性模型的一大优势是端到端的非线性学习能力，样本聚类的方式能够让模型学习出数据中蕴藏的非线性模式，这里个人理解是LS-PLM模型的非线性学习能力强度还依赖于根据自身业务特性调节的超参“分片数”。LS-PLM因建模时引入了L1 和L2 范数，其中L1 范数使得模型具有较高的稀疏度，这样一来，模型服务过程仅需使用非零权重，在线推断的效率很高。

作者认为LS-PLM在推荐系统模型发展的历史中起到了承上启下的作用。LS-PLM可以看做一个加入了注意力机制的三层神经网络模型，其中输入层是样本的特征向量，中间层是m个神经元组成的隐层，其中m是分片的个数，最后一层是单一神经元组成的输出层。其中注意力机制应用在隐层和输出层之间，神经元之间的权重是由分片函数输出的概率值即注意力得分确定的。

推荐系统回顾，FFM引入特征域进一步增强了模型的表达能力。大规模分段线性模型LS-PLM

推荐系统回顾，FFM引入特征域进一步增强了模型的表达能力。大规模分段线性模型LS-PLM相关推荐

最新文章

热门文章