你是否还沉浸于春节收到各路微信红包的喜悦却发现midterm季悄然来临

每当你考完这一周的midterm准备松一口气时却发现下一周又有新的midterm在等着你

与其复习到头秃，不如打开Amazon或者Netflix，做些令人身心愉悦的事情...

比如了解一下推荐系统的算法

推荐系统算法简介

推荐系统在现在互联网产业中起着很重要的作用，amazon的购物推荐，netfix的电影推荐，对整个商业利润的提升，都有着巨大的作用。

有多种不同的算法可以用来建立推荐系统。

Content filtering 就是对每个用户和产品都建立一个profile。比如对音乐进行分类，同时对用户的音乐喜好进行分类，这样我们就可以把用户喜欢的产品推荐给用户。

Collaborative Filtering 通过分析用户间的关联性和商品间的关联性，发现新的用户和商品间的关联。这里核心思想是如果和某一个用户A的相似的用户都喜欢某样商品B，那么该用户也应该喜欢商品B。

通过Joe的观影记录，我们可以发现哪些用户和Joe相近。上图中3个用户都喜欢Joe喜欢的3个电影。所以这里3个用户与Joe的相似度较高，而这3个用户都喜欢的电影，那么Joe也有更高的可能性喜欢。

而这里为了比较用户之间和商品直接的相似度，我们需要用到latent feature。而Matrix Factorization则是用来发现latent feature的方法之一。

用户(user)和商品(item)之间的关系可以用一个rating matrix表示。如下图左边矩阵。其中row表示用户，column表示商品。而矩阵的元素(i, j) 表示第i个user对第j个商品的评分。所以推荐系统的任务可以理解为对这个矩阵剩下未填上的元素进行填空。

而matrix factorization的意思是将矩阵分解两个更小矩阵的乘积。比如上面的Rating matrix可以分解为User matrix和Item matrix的乘积。

这里User matrix的row对应着每个用户，column对应着latent feature。

而Item matrix的column对应着每个商品，而row对应着latent feature。

所以这里的latent feature可以理解为表达一个用户和商品的vector，也就是embedding。两个相似的用户，应该有相似的vector v1, v2, 他们之间的dot prodoct也比较大, 而不相似的用户，他们之间的dot prodoct就比较小，同理这也适用于商品直接相似性的比较。

The mathematics behind Matrix Factorization

为了预测用户i对商品j的评价，我们计算代表用户i的vector pi和代表商品j的vector qj之间的点乘。

而预测评价和实际评价之间的差距意味着计算误差error。由于差距有正有负，所以差距的平方更能描述实际差距大小。所以这里我们用squared error。

在有了误差和参数后，我们就可以针对减小误差对参数进行优化，而对误差进行求导后，我们就可以知道参数可以如何调整让误差更小。下面的式子计算了误差对于参数的导数：

知道了导数后，则参数可以按导数的相反方向进行调整：

评价指标

所有机器学习问题对于评价模型都需要合适的评价指标，对于推荐系统，下面介绍两个常用指标。

1. mean reciprocal rank.

在推荐系统背景下，i是用户喜欢的某个商品。而这里rank_i是商品i在推荐列表中的排名。我们希望用户喜欢的商品，总是排在推荐商品的最前面。

2. Hits at k or hits@k.

根据字面意思，当推荐系统推荐k个商品时，在k个商品中是否有用户真正喜欢的，如果有，则是一个hit，反之hit为0。大量sample并做平均后我们可以得到这一指标。

关于data science&AI方面推文的建议，或是讨论data science&AI方面的问题，欢迎联系CUCS学术部：田轶凡。 WeChat：tyfustc123   排版：金泽宇