关于信息检索评价TREC：session track 的说明

Input. runID数据格式：topic+Q0+文档ID+rank+score+runID

1 Q0 clueweb09-enwp00-61-01138 999 -11.4456 WQExpFqDSnip

1 Q0 clueweb09-enwp00-16-01528 998 -11.4454 WQExpFqDSnip

Sessiontrack2012.txt

Sessiontopicmap.txt格式：session topic subject product goal tasktype

1 1 1 factual specific known-item

2 2 1 lntellectual specific interpretive

3 3 2 factual amorphous known-subject

Sessionmaptxtmap.txt是对sessiontrack2012的简化，简要信息。

Summary.runID数据格式：RL1RL2 RL3 RL4各个队伍的评价指标的结果。

AP:AP值其实是对P@n的一个扩展。上述的P@10是吧n固定为10，而AP的计算是

平均P@1,P@2......P@n所有的值。AP值作为单个查询进行的评价指标（平均上的加权（位置）平均）。

MAP就是针对系统的多个查询进行的评估指标（通常用于对系统的评价）（平均（在准确率）

的加权（位置）平均然后在（多个查询）平均）。

ERR: Expectedreciprocal rank is just the expectation of the reciprocal of the position

of aresult at which a user stops.https://lingpipe-blog.com/2010/03/09/chapelle-metzler-zhang-grinspan-2009-expected-reciprocal-rank-for-graded-relevance/

NDCG:

第一种，取当前返回结果的前n的最优排序计算DCG作为N的值。例如，一组NDCG@5的相关度为X={1,0,2,2,1}，将其变化成X={2,2,1,1,0}计算DCG的值作为N。也就是说集合X的取值一定出现在答案中。但是假设返回的前n个的相关度得分都是0，N也变成了0，那么答案将出错。

NDCG_at_k，nERR，nERR_at_k，precion_at_k， p@k这些指标与p@k可同理推导得出。最常用的评价指标是NDCG。

关于信息检索评价TREC：session track 的说明相关推荐

信息检索IR评价中常见的评价指标-MAP\NDCG\ERR\P@10等
信息检索评价是对信息检索系统性能(主要满足用户信息需求的能力)进行评估的活动.通过评估可以评价不同技术的优劣,不同因素对系统的影响,从而促进本领域研究水平的不断提高.信息检索系统的目标是较少消耗情况下 ...
信息检索领域相关资料 (A Guide to Information Retrieval)
信息检索领域相关资料 (A Guide to Information Retrieval) Organized by Hongfei Yan Last updated on July 27, 2007 ...
信息检索盛会微软“领衔主演”——记ACM SIGIR 2013信息检索国际会议
2013年,第36届SIGIR会议于7月28日至8月1日在爱尔兰首都都柏林举行,本次会议从336篇候选论文投稿中录用73篇,而其中有12篇来自微软全球研究院和微软产品部门,占录用论文总数的16.4%, ...
文本信息检索基本知识【转】
文本信息检索是针对文本的信息检索技术.在技术社区中,文本信息检索常常被等同于信息检索技术本身. 相对视频.音频检索而言,文本信息检索是发展较快也较成熟的,其他模态的信息检索技术,往往也要仰赖文本信息检 ...
最新进展概述：澄清式提问辅助理解信息检索中的用户意图
©PaperWeekly 原创 · 作者|金金单位|阿里巴巴研究实习生研究方向|推荐系统用户使用搜索引擎的过程中,通常很难用单一的查询表达复杂的信息需求.在真实应用的过程中,用户需要根据当前搜索 ...
文本信息检索（维基百科）
文本信息检索是针对文本的信息检索技术.在技术社区中,文本信息检索常常被等同于信息检索技术本身. 相对视频.音频检索而言,文本信息检索是发展较快也较成熟的,其他模态的信息检索技术,往往也要仰赖文本信息检 ...
信息检索相关任务及数据集介绍
文章目录 1.Fact Checking 1.1.任务介绍 1.2.FEVER 1.3.Climate-FEVER 1.4.SciFact 2.Citation Prediction 2.1.任务介绍 ...
【CIPS 2016】(11-12章)信息检索、信息推荐与过滤 (研究进展、现状趋势)
CIPS 2016 笔记整理 <中文信息处理发展报告(2016)>是中国中文信息学会召集专家对本领域学科方向和前沿技术的一次梳理,官方定位是深度科普,旨在向政府.企业.媒体等对中文信息处 ...
来自闪闪宝石的光芒 - “宝石迷阵” x 信息检索 | 论文访谈间 #20
「论文访谈间」是由 PaperWeekly 和中国中文信息学会青工委联合发起的论文报道栏目,旨在让国内优质论文得到更多关注和认可. 这是第 20 期「论文访谈间」论文作者 | 张帆.刘奕群.李昕. ...

关于信息检索评价TREC：session track 的说明

关于信息检索评价TREC：session track 的说明相关推荐

最新文章

热门文章