推荐系统常用评价指标

1.命中率HR(Hits Ratio)

2.归一化折损累计增益(Normalized Discounted Cumulative Gain，NDCG)

3.平均倒数排名(Mean Reciprocal Rank,MRR)

4.ILS

5.AUC&GAUC

6.Recall

7.覆盖率

9.半衰期（half-life-utility ）

10.排序偏差准确率(rank-biased precision，RBP)

11.Mean Average Precision (MAP)

12.多样性

13.新颖性

14.稳定性指标：Mean Absolute Shift（平均绝对位移，MAS）

1.命中率HR(Hits Ratio)

意义：关心用户想要的，我有没有推荐到，强调预测的“准确性”

参数说明:
N:用户的总数量
hits(i):第i个用户访问的值是否在推荐列表中，是则为1，否则为0

2.归一化折损累计增益(Normalized Discounted Cumulative Gain，NDCG)

意义：关心找到的这些项目，是否放在用户更显眼的位置里，即强调“顺序性“

参数说明：
N:用户的总数量
p i : 第 i 个用户的真实访问值在推荐列表的位置，若推荐列表不存在该值，则 p i → ∞ p_{i}:第i个用户的真实访问值在推荐列表的位置，若推荐列表不存在该值，则p i→∞

3.平均倒数排名(Mean Reciprocal Rank,MRR)

意义：关心找到的这些项目，是否放在用户更显眼的位置里，即强调“顺序性“

参数说明：
N:用户的总数量
pi : 第 i 个用户的真实访问值在推荐列表的位置，若推荐列表不存在该值，则 pi → ∞ p_{i}:第i个用户的真实访问值在推荐列表的位置，若推荐列表不存在该值，则pi→∞

4.ILS

意义：衡量推荐列表多样性的指标，计算公式：

如果，S(bi,bj)计算的是 i ii和j jj两个物品的相似性，如果推荐列表中的物品越不相似，ILS越小，那么推荐结果的多样性越好。

5.AUC&GAUC

定义：对于二分类问题：

准确度: ，精确率：，

召回率：， TPR（True Positive Rate）：

FPR（越低越好）：， F1-Score：

ROC ：Receiver Operating Characteristic.
有些分类器(如朴素贝叶斯) , 输出的是 <预测类别, 概率> 的形式, 取不同的阈值, 就可以在当前数据集上得到不同的指标. 以FPR 为横轴，TPR为纵轴，画出来的就是ROC曲线。

GAUC：Group AUC, AUC的一个变种, 常用于{推荐,计算广告} 等个性化场景, 通常以user作为group的维度, 即 user weighted AUC.
AUC 是全局样本排序能力的一个体现, GAUC 侧重于单个user下样本间的排序能力, 以此作离线指标, 对线上AB效果的参考性更强.
，其中，AUCu表示该user下样本所组成数据集的AUC。

AUC实现代码：

import numpy as np
from sklearn.metrics import roc_auc_scorey_true = np.array([0, 0, 1, 1])
y_scores = np.array([0.1, 0.4, 0.35, 0.8])
print("AUC is ", roc_auc_score(y_true, y_scores))   # 0.75