知识图谱问答的测评指标

(1）精确率。精确率（Precision）指问答方法对每个自然语言问句给出的黄金标准答案（问题对应的一个标准答案）占所有返回答案总数的比例。精确率计算公式可以形式化表示：

(2）召回率。一个自然语言问句可能存在多个标准答案，如：问题“杭州有那些景点？”就有多个标准答案，因此需要评测知识图谱问答方法召回完整答案的能力。召回率（Recall）表示知识图谱问答方法返回的正确答案数占返回的黄金标准答案的比例。召回率计算公式可以形式化表示为：

(3）准确率。准确率（Accuracy）表示知识图谱问答方法回答正确的问题数占所有问题的比例。准确率计算公式可以形式化表示为：

通常使用准确率定义指标Hits@K，即将答案列表按照特定值进行排序，如果前K个答案中有一个正确的则为1hit，否则为0hit，并最终计算整个问题集的平均值。

(4)F1值。通常知识图谱问答方法（系统）的总体性能使用F1值对精确率和召回率进行整体测评。测试集中的每个问题都有其对应的F1值，其计算公式可以形式化表示为：

[1]论兵,王月春,郝晓慧,谷斌,王会勇.知识图谱问答研究进展[J].软件导刊,2022,21(03):226-236.

知识图谱问答的测评指标相关推荐

容联云AI科学院研发先进KBQA能力，问鼎大规模中文知识图谱问答权威性测评
容联云AI科学院研发的KBQA算法,凭借其对中文语言及知识图谱的精准语义解析和推理能力,夺得权威中文语言评测CLUE中的大规模中文知识图谱问答KgCLUE榜单的第一名. KgCLUE是中文语言理解领域 ...
论文浅尝 | 利用问题生成提升知识图谱问答
论文笔记整理:谭亦鸣,东南大学博士生,研究方向为知识库问答. 来源:NLPCC2019 链接:http://tcci.ccf.org.cn/conference/2019/papers/183.pdf ...
美团知识图谱问答技术及在商家推荐回复场景中的实践与探索
猜你喜欢 0.电商知识图谱的构建及在搜索推荐场景的应用实践1.如何搭建一套个性化推荐系统?2.内容推荐策略产品经理的方法与实践3.京东推荐算法精排技术实践4.微博推荐算法实践与机器学习平台演进5.腾讯 ...
知识图谱问答的实践技术分享的书面版本
公众号系统之神与我同在编者按:随着互联网软硬件相关技术的飞速发展,人们逐渐从信息时代进入智能时代.知识图谱作为承载底层海量知识并支持上层智能应用的重要载体,在智能时代中扮演了极其重要的角色.而利用 ...
ACL2020 | 基于Knowledge Embedding的多跳知识图谱问答
一只小狐狸带你解锁炼丹术&NLP 秘籍作者:舒意恒(南京大学硕士生,知识图谱方向) 背景什么是知识图谱问答? 知识图谱(KG)是一个多关系图,其中包含数以百万计的实体,以及连接实体的关系 ...
论文浅尝 | 利用机器翻译和多任务学习进行复杂的知识图谱问答
笔记整理 | 谭亦鸣,东南大学博士生. 来源:EACL'21 链接:https://www.aclweb.org/anthology/2021.eacl-main.300.pdf 概述知识图谱问答过 ...
论文浅尝 - WSDM20 | 基于弱监督及逐步推理的多关系知识图谱问答
论文笔记整理:刘晓臻,东南大学计算机科学与工程学院本科生. 来源:WSDM '20 链接:https://dl.acm.org/doi/abs/10.1145/3336191.3371812 动机知 ...
技术动态 | 针对复杂问题的知识图谱问答最新进展
本文转载自公众号:PaperWeekly. 作者:付彬.唐呈光.李杨.余海洋.孙健单位:阿里巴巴达摩院小蜜Conversational AI团队背景介绍知识图谱问答(KBQA)利用图谱丰富的语义 ...
论文浅尝 | 知识图谱问答中的层次类型约束主题实体识别
Citation:Qiu, Y., Li, M., Wang, Y., Jia, Y., & Jin, X.(2018). Hierarchical Type Constrained Topi ...

知识图谱问答的测评指标

知识图谱问答的测评指标相关推荐

最新文章

热门文章