特征工程——推荐系统里的特征工程

原文：推荐系统里的特征工程

个性化推荐系统 Personalized recommender system 比其他的机器学习方法更依赖特征工程，所以我拿它来当作问题的背景，结合我之前做过的一个推荐系统里相关经验来说说特征工程具体是个什么东西。

利用特征功能提取这些“个性化”的特征放到推荐模型里就很重要，比如在我们的推荐系统里，把“品牌”的特征加进去，相对于 baseline 提高了20%左右的nDCG。推荐系统可以是机器学习的模型也可以是基于关联或者统计规则的模型，对后者来说特征对推荐效果的提升占的比重更大。

利用领域知识生成和提取特征

如何描述个性化并且用变量表示成特征。一般方法就是，想想你就是该商品的目标用户，你会想要什么样的个性化。

这部分工作需要很多领域知识，一般需要一组的研究人员讨论，要认真的思考这个特定问题有些什么和别的问题不同的特征，也建议和市场部销售部等有领域知识的专家讨论。经验上来说，这些特征提取的越多越好，并不用担心特征过多，因为推荐系统的数据量都比较大，并且基于一些规则可以很好的筛选特征。

注意，这些特征可能是固定不变的。实际经验来说，时间变化采样的颗粒度要按照实际推荐效果来决定。

特征的表达

一个特征具体如何表达，要看在它在具体模型上怎么用。特征可以是“红”“绿”“蓝”这些离散特征，也可以是1.57这样的连续值特征。

某些特定问题更倾向于离散特征，因为像推荐系统这样数据很大的情况可以利用模型训练这些特征得到比连续值表达更好的效果。

【*****】

按照实际推荐效果思考一下用户的【行为特征】，需要丢弃一些特征。我之前包含过0.4以下的部分但是实际测试的时候发现推荐结果会恶化，

也就是说对于我们的问题，用户喜欢跟风买热门的，但是不喜欢一直买冷门的。

每个用户对于其他用户的 news 的点赞和留言以及其他的动作都会得到一个评价值，这是一系列的连续值，直接拿来训练模型效果不好。他们的做法是做了一个简单的决策树，训练的输入是这些连续值，训练目标是看对于用户A是否应该显示用户B的 news 。这个决策树显然很粗糙，但是树的每个叶子节点可以成为一个特征，那么这些叶子节点就可以当作用户A的特征向量，拿来训练其他模型比如Logistic Regression，效果不错。

直接特征和间接特征

直接特征 Extacted Feature 就是比如商品的品牌，间接特征 Derived Feature 可以是从直接特征或者各种数据组合里计算推导出来的。

特征选择

一般来说是两个方法：基于领域知识的手工选择以及自动选择方法。

【1】对于关联规则和统计规则的模型来说，手工选择的比重要大一些。

比如我们已有了baseline的特征向量，现在加进去品牌偏好，给一定的权值，看评价函数输出的结果是否增强了推荐效果。

选择过程不是单增单减，很可能遇到两个特征组合A＋B效果很好，A＋C效果也很好，但是A＋B＋C效果就呵呵了。

个人建议在关联和统计规则里面把最重要的几个特征放进去然后优化关于这几个特征的规则，把复杂的特征选择留给学习出来的模型。

【2】对于学习的模型来说，可以通过模型自动选择每个特征的权值，按照和效果的关联来调整模型的参数

自动选择的方法：有f orward selection，backward selection，各种regularization 还有深度学习和卷积网络等等【待查feature selection 的blog综述】

【推进系统的评价函数】

推荐系统的评价函数一般不是AUC曲线等按照error计算的函数，也就是说推荐的效果并不是按照“精准”来衡量，

要遵循特定问题需要的评价函数比如nDCG，所以以error matrix为标准的一些方法可能效果会不好。

比如说用PCA降低特征的维度很可能把那些对推荐效果很重要的长尾特征给舍弃了。

特征的组合变化

可发挥的空间就看你的想像力和经验了。这里的组合变化远不限于把已有的特征加减乘除（比如Kernel Tricks之类）

例如：

斯坦福小帅哥教授 Jure Leskovec 在2010年的一篇文章“Predicting Positive and Negative Links in Online Social Networks”

说到过一种基于用户反馈的推荐“你可能认识的人”的推荐算法，他把邻近三人之间的三角关系总共16种正负反馈的组合当作特征向量

用来表达用户A和被推荐目标用户C之间的正负反馈，在图里去掉一些已知正负反馈的边来构建训练数据，用简单的Logistic Regression训

练模型达到了不错的效果。可以谷歌找到这篇文章的幻灯片，里面有图示讲解。

总结

构建一个推荐系统需要涉及很多东西，绝对不是GraphLab或者Mahout跑个协同过滤就能上马的，这里面特征工程是很重要的一部分工作

，在很多其他数据和机器学习的工作里面特征工程也差不多是从根本上改变模型效果的重要办法之一。大家在欢乐调参的过程中不妨考虑

考虑搞搞特征。