145.如何评价个性化推荐系统的效果-2

145.1 E值

E值表示查准率P和查全率R的加权平均值，当其中一个为0时，E值为1，其计算公式：
- b越大，表示查准率的权重越大。

145.2 平均正确率（Average Precision）

平均正确率表示不同查全率的点上的正确率的平均

145.3 AP和mAP(mean Average Precision)

mAP是为解决P（准确率），R（召回率），F-measure的单点值局限性的。为了得到一个能够反映全局性能的指标，可以看考察下图，其中两条曲线(方块点与圆点)分布对应了两个检索系统的准确率-召回率曲线
- 可以看出，虽然两个系统的性能曲线有所交叠但是以圆点标示的系统的性能在绝大多数情况下要远好于用方块标示的系统。
从中可以发现一点，如果一个系统的性能较好，其曲线应当尽可能的向上突出。
更加具体的，曲线与坐标轴之间的面积应当越大。
最理想的系统，其包含的面积应当是1，而所有系统的包含的面积都应当大于0。这就是用以评价信息检索系统的最常用性能指标，平均准确率mAP其规范的定义如下:

145.4 ROC和AUC

ROC和AUC是评价分类器的指标，上面第一个图的ABCD仍然使用，只是需要稍微变换
ROC关注两个指标

 True  Positive Rate( TPR ) = TP / [ TP + FN] ，TPR代表能将正例分对的概率False Positive Rate( FPR ) = FP / [ FP + TN] ，FPR代表将负例错分为正例的概率

在ROC 空间中，每个点的横坐标是FPR，纵坐标是TPR，这也就描绘了分类器在TP（真正的正例）和FP（错误的正例）间的trade-off
- ROC的主要分析工具是一个画在ROC空间的曲线——ROC curve
- 对于二值分类问题，实例的值往往是连续值，我们通过设定一个阈值，将实例分类到正类或者负类（比如大于阈值划分为正类）
- 因此可以变化阈值，根据不同的阈值进行分类，根据分类结果计算得到ROC空间中相应的点，连接这些点就形成ROC curve
- ROC curve经过（0,0）（1,1），实际上(0, 0)和(1, 1)连线形成的ROC curve实际上代表的是一个随机分类器
- 一般情况下，这个曲线都应该处于(0, 0)和(1, 1)连线的上方。如图所示：
- 用ROC curve来表示分类器的performance很直观好用。可是，人们总是希望能有一个数值来标志分类器的好坏。
于是**Area Under roc Curve(AUC)**就出现了
- 顾名思义，AUC的值就是处于ROC curve下方的那部分面积的大小
- 通常，AUC的值介于0.5到1.0之间，较大的AUC代表了较好的Performance
P/R和ROC是两个不同的评价指标和计算方式，一般情况下，检索用前者，分类、识别等用后者

大数据视频推荐：
网易云课堂
CSDN
人工智能算法竞赛实战
AIops智能运维机器学习算法实战
ELK7 stack开发运维实战
PySpark机器学习从入门到精通
AIOps智能运维实战
腾讯课堂
大数据语音推荐：
ELK7 stack开发运维
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能：深度学习入门到精通

145.如何评价个性化推荐系统的效果-2相关推荐

144.如何评价个性化推荐系统的效果-1
144.1 准确率与召回率(Precision & Recall) 准确率和召回率是广泛用于信息检索和统计学分类领域的两个度量值,用来评价结果的质量其中精度是检索出相关文档数与检索出的文档总 ...
个性化推荐系统设计（3.1）——如何评价个性化推荐系统的效果
准确率与召回率(Precision & Recall) 准确率和召回率是广泛用于信息检索和统计学分类领域的两个度量值,用来评价结果的质量.其中精度是检索出相关文档数与检索出的文档总数的比率 ...
读书笔记 |《推荐系统实践》- 个性化推荐系统总结
-- 原创,未经授权,禁止转载 2017.11.15 -- 推荐系统实践对于推荐系统,本文总结内容,如下图所示: 推荐系统.png 文章很长,你可以跳着看你感兴趣的部分. 一.什么是推荐系统 1. ...
Facebook 面向个性化推荐系统的深度学习推荐模型
作者:王鸣辉整理:Hoh Xil 来源:http://wd1900.github.io/#blog https://www.zhihu.com/people/wang-ming-hui-38/pos ...
达观数据于敬：个性化推荐系统实践
达观数据于敬:个性化推荐系统实践在DT(data technology)时代,网上购物.观看视频.聆听音乐.阅读新闻等各个领域无不充斥着各种推荐,个性化推荐已经完全融入人们的日常生活当中.个性化推荐 ...
免费公开课报名 | 达观数据个性化推荐系统实践
在人工智能浪潮之下,个性化推荐技术更是风靡业界,在金融.传媒.短视频.电商.教育等诸多领域大放异彩,影响人们生活的方方面面.不仅方便了人们获取各种各样的信息,还给企业带来了收益的大幅提升. 本次公开课 ...
基于Web日志挖掘的个性化推荐系统（附源码）
个性化推荐系统实现该系统主要是使用的编程语言主要是R,然后配合css在样式上进行一定优化,使用shiny开发的一款web程序,主要实现的核心功能是基于spark的ALS算法的课程个性化推荐系统.首页 ...
技术分享 | 个性化推荐系统商业化的五大要素
本文转载自达观数据(id:Datagrand_). 在日前举行的2017 CSDI 中国软件研发管理行业峰会上,包括摩拜单车创始人及CTO夏一平.华为首席系统工程专家徐琦海.京东云.携程等一线互联网企 ...

145.如何评价个性化推荐系统的效果-2

145.1 E值

145.2 平均正确率（Average Precision）

145.3 AP和mAP(mean Average Precision)

145.4 ROC和AUC

145.如何评价个性化推荐系统的效果-2相关推荐

最新文章

热门文章