Collaborative Filtering for Implicit Feedback Datasets^[1]公式推导

精确反馈的模型

min⁡x∗,y∗∑ru,iis known(ru,i−xuTyi)2+λ(∥xu∥2+∥yi∥2)(1)\min\limits_{x^*,y^*}\sum\limits_{r_{u,i} \text{ is known}}(r_{u,i}-x_u^Ty_i)^2+\lambda(\Vert x_u\Vert ^2+\Vert y_i\Vert^2)\tag{1}x∗,y∗minru,i is known∑(ru,i−xuTyi)2+λ(∥xu∥2+∥yi∥2)(1)

隐式反馈模型

用户uuu对商品iii的交互量用ruir_{ui}rui来表示，利用puip_{ui}pui表示用户uuu对商品iii的偏好，通过二元化ru,ir_{u,i}ru,i来获得。

pui={1rui>00rui=0p_{ui}=\begin{cases}1&r_{ui}>0\\0&r_{ui}=0\end{cases}pui={10rui>0rui=0

如果用户uuu与商品iii进行了交互，则可以有一定的概率认为用户uuu喜欢商品iii。
但是用户没有对某个商品产生正反馈，不一定是不喜欢这个商品。他可能根本就没看到这个商品或者因为价格或者其他限制原因使得他没有点开的意愿或者条件。

此外，用户的正反馈可能也不是因为喜欢，例如，用户可能仅仅因为停留在之前看过的节目的频道就看电视节目。

当ruir_{ui}rui增长的时候，我们有更坚定的理由去相信用户喜欢这个商品。在此我们引入变量cuic_{ui}cui来表示用户uuu对商品iii产生的喜好puip_{ui}pui的置信程度。

cui=1+αruic_{ui}=1+\alpha r_{ui}cui=1+αrui

α\alphaα的初始值设置为40

模型的目标是为每个用户uuu找到可以代表它的向量xu∈Rfx_u\in \R^fxu∈Rf，以及每个商品的代表向量yi∈Rfy_i\in \R ^fyi∈Rf，它们可以通过内积即pui=xuTyip_{ui}=x_u^Ty_ipui=xuTyi用来表达用户的喜好。可以称这些向量为用户因子和商品因子，这些向量将用户和商品拉入了一个可以直接比较的隐向量空间。

与传统的精确反馈的区别在于

需要计算不同的置信程度
优化的时候需要考虑所有的u,iu,iu,i对

我们需要进行最小化的损失函数为
min⁡x∗,y∗∑u,icui(pui−xuTyi)2+λ(∥xu∥2+∥yi∥2)(2)\min\limits_{x^*,y^*}\sum\limits_{u,i} c_{ui}(p_{ui}-x_u^Ty_i)^2+\lambda(\Vert x_u\Vert ^2+\Vert y_i\Vert^2)\tag{2}x∗,y∗minu,i∑cui(pui−xuTyi)2+λ(∥xu∥2+∥yi∥2)(2)
由于考虑到矩阵中的所有元素，m×nm\times nm×n很容易达到几十亿的级别，这样传统的梯度下降就不合适了。因此使用交替最小二乘法。

我们令L(xu,yi)=∑uicui(pui−xuTyi)2+λ(∥xu∥2+∥yi∥2)L(x_u,y_i)=\sum\limits_{ui} c_{ui}(p_{ui}-x_u^Ty_i)^2+\lambda(\Vert x_u\Vert ^2+\Vert y_i\Vert^2)L(xu,yi)=ui∑cui(pui−xuTyi)2+λ(∥xu∥2+∥yi∥2)

假设商品矩阵YYY是确定的，对xux_uxu求偏导

∂L∂xu=[∂L∂xu1∂L∂xu2⋮∂L∂xuf]=[∑i=1n2cui(pu,i−xuTyi)(−yi1)∑i=1n2cui(pu,i−xuTyi)(−yi2)⋮∑i=1n2cui(pu,i−xuTyi)(−yif)]+[2λxu12λxu2⋮2λxuf]\frac{\partial L}{\partial x_u}=\begin{bmatrix}\frac{\partial L}{\partial x_{u1}}\\\frac{\partial L}{\partial x_{u2}}\\\vdots\\\frac{\partial L}{\partial x_{uf}}\end{bmatrix}=\begin{bmatrix}\sum\limits_{i=1}^n2c_{ui}(p_{u,i}-x_u^Ty_i)(-y_{i1})\\\sum\limits_{i=1}^n2c_{ui}(p_{u,i}-x_u^Ty_i)(-y_{i2})\\\vdots\\\sum\limits_{i=1}^n2c_{ui}(p_{u,i}-x_u^Ty_i)(-y_{if})\end{bmatrix}+\begin{bmatrix}2\lambda x_{u1}\\2\lambda x_{u2}\\\vdots\\2\lambda x_{uf}\end{bmatrix}∂xu∂L=⎣⎢⎢⎢⎢⎡∂xu1∂L∂xu2∂L⋮∂xuf∂L⎦⎥⎥⎥⎥⎤=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎡i=1∑n2cui(pu,i−xuTyi)(−yi1)i=1∑n2cui(pu,i−xuTyi)(−yi2)⋮i=1∑n2cui(pu,i−xuTyi)(−yif)⎦⎥⎥⎥⎥⎥⎥⎥⎥⎤+⎣⎢⎢⎢⎡2λxu12λxu2⋮2λxuf⎦⎥⎥⎥⎤

让偏导向量为0向量，也就是最后两个向量之和为0，那么可以将2消除。

[∑i=1ncui(pui−xuTyi)(yi1)∑i=1ncui(pui−xuTyi)(yi2)⋮∑i=1ncui(pui−xuTyi)(yif)]=[λxu1λxu2⋮λxuf]\begin{bmatrix}\sum\limits_{i=1}^nc_{ui}(p_{ui}-x_u^Ty_i)(y_{i1})\\\sum\limits_{i=1}^nc_{ui}(p_{ui}-x_u^Ty_i)(y_{i2})\\\vdots\\\sum\limits_{i=1}^nc_{ui}(p_{ui}-x_u^Ty_i)(y_{if})\end{bmatrix}=\begin{bmatrix}\lambda x_{u1}\\\lambda x_{u2}\\\vdots\\\lambda x_{uf}\end{bmatrix}⎣⎢⎢⎢⎢⎢⎢⎢⎢⎡i=1∑ncui(pui−xuTyi)(yi1)i=1∑ncui(pui−xuTyi)(yi2)⋮i=1∑ncui(pui−xuTyi)(yif)⎦⎥⎥⎥⎥⎥⎥⎥⎥⎤=⎣⎢⎢⎢⎡λxu1λxu2⋮λxuf⎦⎥⎥⎥⎤

我们来观察左边向量的形式：
设：
V=[∑i=1ncui(pui−xuTyi)(yi1)∑i=1ncui(pui−xuTyi)(yi2)⋮∑i=1ncui(pui−xuTyi)(yif)]V=\begin{bmatrix}\sum\limits_{i=1}^nc_{ui}(p_{ui}-x_u^Ty_i)(y_{i1})\\\sum\limits_{i=1}^nc_{ui}(p_{ui}-x_u^Ty_i)(y_{i2})\\\vdots\\\sum\limits_{i=1}^nc_{ui}(p_{ui}-x_u^Ty_i)(y_{if})\end{bmatrix}V=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎡i=1∑ncui(pui−xuTyi)(yi1)i=1∑ncui(pui−xuTyi)(yi2)⋮i=1∑ncui(pui−xuTyi)(yif)⎦⎥⎥⎥⎥⎥⎥⎥⎥⎤

设矩阵Yn×fY_{n\times f}Yn×f，每一行代表着商品的特征向量，fff为向量空间的维度。也就是说Y=[y1Ty2T⋮ynT]Y=\begin{bmatrix}y_1^T\\y_2^T\\\vdots\\y_n^T\end{bmatrix}Y=⎣⎢⎢⎢⎡y1Ty2T⋮ynT⎦⎥⎥⎥⎤
论文中，也提出了CuC_uCu为一个包含置信度的对角矩阵
Cu=[cu1cu2⋱cun]C_u=\begin{bmatrix}c_{u1}\\&c_{u2}\\&&\ddots\\&&&c_{un}\end{bmatrix}Cu=⎣⎢⎢⎡cu1cu2⋱cun⎦⎥⎥⎤
这里用大写字母表示矩阵，小写字母表示向量，请不要混淆。

∑i=1ncui(pui−xuTyi)(yi1)=[cu1(pu1−xuTy1)cu2(pu2−xuTy2)⋮cun(pun−xuTyn)]T×[y11y21⋮yn1]=(Cu×(p(u)−Yxu))T×Y∗,1=Y∗,1T×(Cu×(p(u)−Yxu))\sum\limits_{i=1}^nc_{ui}(p_{ui}-x_u^Ty_i)(y_{i1})=\begin{bmatrix}c_{u1}(p_{u1}-x_u^Ty_1)\\c_{u2}(p_{u2}-x_u^Ty_2)\\\vdots\\c_{un}(p_{un}-x_u^Ty_n)\end{bmatrix}^T\times \begin{bmatrix}y_{11}\\y_{21}\\\vdots\\y_{n1}\end{bmatrix}\\=(C_u\times(p(u)-Yx_u))^T\times Y_{*,1}\\=Y_{*,1}^T\times (C_u\times(p(u)-Yx_u))i=1∑ncui(pui−xuTyi)(yi1)=⎣⎢⎢⎢⎡cu1(pu1−xuTy1)cu2(pu2−xuTy2)⋮cun(pun−xuTyn)⎦⎥⎥⎥⎤T×⎣⎢⎢⎢⎡y11y21⋮yn1⎦⎥⎥⎥⎤=(Cu×(p(u)−Yxu))T×Y∗,1=Y∗,1T×(Cu×(p(u)−Yxu))

V=[Y∗,1T×(Cu×(p(u)−Yxu))Y∗,2T×(Cu×(p(u)−Yxu))⋮Y∗,nT×(Cu×(p(u)−Yxu))]=[Y∗,1TY∗,2T⋮Y∗,nT]×(Cu×(p(u)−Yxu))=YT×(Cu×(p(u)−Yxu))=λxuV=\begin{bmatrix}Y_{*,1}^T\times (C_u\times(p(u)-Yx_u))\\Y_{*,2}^T\times (C_u\times(p(u)-Yx_u))\\\vdots\\Y_{*,n}^T\times (C_u\times(p(u)-Yx_u))\end{bmatrix}=\begin{bmatrix}Y_{*,1}^T\\Y_{*,2}^T\\\vdots\\Y_{*,n}^T\end{bmatrix}\times (C_u\times(p(u)-Yx_u))\\=Y^T\times (C_u\times(p(u)-Yx_u))=\lambda x_uV=⎣⎢⎢⎢⎡Y∗,1T×(Cu×(p(u)−Yxu))Y∗,2T×(Cu×(p(u)−Yxu))⋮Y∗,nT×(Cu×(p(u)−Yxu))⎦⎥⎥⎥⎤=⎣⎢⎢⎢⎡Y∗,1TY∗,2T⋮Y∗,nT⎦⎥⎥⎥⎤×(Cu×(p(u)−Yxu))=YT×(Cu×(p(u)−Yxu))=λxu

可得：

YTCup(u)=(λI+YTCuY)xu⟺xu=(λI+YTCuY)−1YTCup(u)Y^TC_up(u)=(\lambda I+Y^TC_uY)x_u\iff x_u=(\lambda I+Y^TC_uY)^{-1}Y^TC_up(u)YTCup(u)=(λI+YTCuY)xu⟺xu=(λI+YTCuY)−1YTCup(u)

[1] Hu Y, Koren Y, Volinsky C. Collaborative filtering for implicit feedback datasets[C]//2008 Eighth IEEE international conference on data mining. Ieee, 2008: 263-272.

Collaborative Filtering for Implicit Feedback Datasets结论公式推导相关推荐

Alternating Least Squares(ASL) for Implicit Feedback Datasets的数学推导以及用Python实现
近期在看CF的相关论文,<Collaborative Filtering for Implicit Feedback Datasets>思想非常好,非常easy理解.可是从目标函数是怎样 ...
【推荐系统论文精读系列】(五)--Neural Collaborative Filtering
文章目录一.摘要二.介绍三.准备知识 3.1 从隐式数据中进行学习 3.2 矩阵分解四.神经协同过滤 4.1 总体框架 4.1.1 学习NCF 4.2 广义矩阵分解(GMF) 4.3 多层感知 ...
2022_WWW_Improving Graph Collaborative Filtering with Neighborhood-enriched Contrastive Learning
[论文阅读笔记]2022_WWW_Improving Graph Collaborative Filtering with Neighborhood-enriched Contrastive Lear ...
2020_KDD_Dual Channel Hypergraph Collaborative Filtering
[论文阅读笔记]2020_KDD_Dual Channel Hypergraph Collaborative Filtering 论文下载地址: https://doi.org/10.1145/339 ...
推荐系统：协同过滤collaborative filtering
http://blog.csdn.net/pipisorry/article/details/51788955 (个性化)推荐系统构建三大方法:基于内容的推荐content-based,协同过滤col ...
论文笔记：Neural Collaborative Filtering
一.基本信息论文题目:<Neural Collaborative Filtering> 发表时间:WWW 2017 作者及单位: 二.摘要 In recent years, deep n ...
论文笔记：Neural Collaborative Filtering(NCF)
前言论文链接:https://arxiv.org/abs/1708.05031 github:https://github.com/yihong-chen/neural-collaborative- ...
NCF(Neural Collaborative Filtering)——协同过滤与神经网络的结合
Neural Collaborative Filtering paper 关于协同过滤协同过滤简而言之就是物以类聚人以群分,在真实场景中,通常会获得一张用户物品交互表,其实就是一个矩阵M, M [ ...
scala-MLlib官方文档---spark.ml package--ML Pipelines+Collaborative Filtering+Frequent Pattern Mining
三. ML Pipeline Main concepts in Pipelines(管道中的主要概念) MLlib对用于机器学习算法的API进行了标准化,从而使将多种算法组合到单个管道或工作流中变得更 ...

Collaborative Filtering for Implicit Feedback Datasets结论公式推导

Collaborative Filtering for Implicit Feedback Datasets^[1]公式推导

精确反馈的模型

隐式反馈模型

Collaborative Filtering for Implicit Feedback Datasets结论公式推导相关推荐

最新文章

热门文章

Collaborative Filtering for Implicit Feedback Datasets结论公式推导

Collaborative Filtering for Implicit Feedback Datasets[1]公式推导

精确反馈的模型

隐式反馈模型

Collaborative Filtering for Implicit Feedback Datasets结论公式推导相关推荐

最新文章

热门文章

Collaborative Filtering for Implicit Feedback Datasets^[1]公式推导