召回离线评估指标（一）

居家办公一周了，上海疫情的“拐点”却迟迟未到，刚在小区楼下配合测完核酸，回到家里吃了口老坛酸菜面（不加酸菜包）冷静冷静。言归正传，今天想和大家聊聊推荐召回侧常用的离线评估指标。

(1).首先定义几个符号

@K: 用召回的TopK商品计算指标

RecSet: 策略召回的商品序列

BehSet: 用户未来N天有过交互行为的商品序列(N可以根据需要自行定义)

#(): 表示count()

MRR: Mean Reciprocal Rank

D+T: 表示从D天算起未来T天内

(2).离线评估指标

Percision@K

定义：#(RecSet ∩ BehSet) / #(RecSet)

意义：计算单个策略召回的商品序列的准确性

Recall@K

定义：#(RecSet ∩ BehSet) / #(RehSet)

意义：计算单个策略召回的商品序列的召回率

HitRate@K

定义：

意义: 对用户的命中率

MRR

定义：

意义：平均倒数排名，有考虑推荐结果的次序

用户覆盖率

定义：#(D活跃用户中能调用召回策略的用户)/#(D+T活跃用户)

意义：衡量一个离线策略的计算能否覆盖到大部分的活跃用户

商品覆盖率

定义：#(distinct D 策略召回商品) / #(D+T 商品库中所有商品)

意义：描述策略对物品发掘的能力

叶子类目丰富度

定义：#(distinct D 策略召回商品中叶子类目数量) / Count(D+T 所有商品叶子类目数量)

意义：衡量一个离线策略的计算结果的健康度

本文主要给大家介绍了percision、recall、hitrate、mrr、用户覆盖率、商品覆盖率、叶子类目丰富度等七种推荐召回侧常用的离线评估指标。另外还有几种常见的指标会在下一篇文章中为大家介绍，希望大家能持续关注。如果你喜欢我的文章或者我的公众号，记得分享、点赞、顺便点个在看再走哦！

欢迎大家关注微信公众号: 计算广告那些事儿，除了原创文章之外，也会不定期和大家分享业内大牛的文章哈！

召回离线评估指标（一）相关推荐

召回离线评估指标（二）
接着上一篇文章<召回离线评估指标(一)>,今天和大家接着聊聊推荐召回侧常用的其他离线评估指标. (1).首先定义几个符号 @K: 用召回的TopK商品计算指标 RecSet: 策略召回的商 ...
【推荐系统】召回离线评估指标Hit Ratio
Hit Ratio(HR) 在top-K推荐中,HR是一种常用的衡量召回率的指标,计算公式为: 分母是所有的测试集合,分子表示每个用户top-K列表中属于测试集合的个数的总和. 举个简单的例子,三个用 ...
评估指标_机器学习评估方法与评估指标总结
离线评估方法离线评估的基本原理是在离线环境中,将数据集划分为"训练集"和"测试集",用"训练集"训练模型,用"测试集" ...
分类指标（评估指标）
目录一.评估指标 1.1 分类指标 1.1.1 Precision.Recall.Accuracy.ErrorRate 与 PR 1.1.2 TruePositiveRate.FalsePositi ...
笔记︱统计评估指标AUC 详解
文章目录 1 AUC的两种解读视角: 1.1 ROC曲线与坐标轴形成面积 1.2 古典概率模型--求导AUC 2 AUC的特性与优劣 3 AUC多大才算好? 4 线上.线下AUC差异较大成因分析 4. ...
[机器学习] 二分类模型评估指标---精确率Precision、召回率Recall、ROC|AUC
一为什么要评估模型? 一句话,想找到最有效的模型.模型的应用是循环迭代的过程,只有通过持续调整和调优才能适应在线数据和业务目标. 选定模型时一开始都是假设数据的分布是一定的,然而数据的分布会随着时间 ...
目标检测扩（六）一篇文章彻底搞懂目标检测算法中的评估指标计算方法（IoU（交并比）、Precision（精确度）、Recall（召回率）、AP（平均正确率）、mAP（平均类别AP））
基本在目标检测算法中会碰到一些评估指标.常见的指标参数有:IoU(交并比).Precision(精确度).Recall(召回率).AP(平均正确率).mAP(平均类别AP)等.这些评估指标是在评估 ...
机器学习评估指标：准确率（ Accuracy ）、精确率（Precision）、召回率（Recall）、P-R 曲线、均方根误差
在模型评估过程中,分类问题.排序问题.回归问题往往需要使用不同的指标进行评估.在诸多的评估指标中,大部分指标只能片面地反映模型的一部分性能. 如果不能合理地运用评估指标,不仅不能发现模型本身的问题,而 ...
一文看懂分类模型的评估指标：准确率、精准率、召回率、F1等
2019-11-21 21:59:23 机器学习模型需要有量化的评估指标来评估哪些模型的效果更好. 本文将用通俗易懂的方式讲解分类问题的混淆矩阵和各种评估指标的计算公式.将要给大家介绍的评估指标有:准 ...

召回离线评估指标（一）

召回离线评估指标（一）相关推荐

最新文章

热门文章