引言

本文是七月在线《NLP中的对话机器人》的视频笔记，主要介绍FAQ问答型聊天机器人的实现。

模型的评估

我们如何评估模型的好坏？由于我们的数据集没有提供测试数据，所以我们很难评估模型的好
坏。如果我们要做非常严谨的评估，最好是能够制作一个验证数据集，包括训练数据中不存在的
新问题，与该问题最相近的已知问题，以及问题的答案。

虽然我们实现的是FAQ问答机器人，但实际上解决的是搜索问题，比如给定问题查找最相似问题的答案。

MRR

评估指标可以采用Mean Reciprocal Rank(MRR)，这是一个推荐系统的评价指标，也就是正确答案在推荐答案中的排名的倒数平均。

MRR的原理如下：
MRR=1∣Q∣∑i=1∣Q∣1ranki\text{MRR} = \frac{1}{|Q|} \sum_{i=1}^{|Q|} \frac{1}{\text{rank}_i} MRR=∣Q∣1i=1∑∣Q∣ranki1

假设给定一个问题，你知道它的正确答案是什么。模型会在整个数据集上进行搜索，它会给数据集中的每个问题打一个分数，我们就知道正确答案被模型排到哪个位置。
正确答案排名越高表示系统越好，MRR表示的是最佳答案排名的倒数。最佳答案排名是1到样本总数n，那么倒数是就是0到1之间的数值。然后对所有问题样本计算的该数值求平均，得到的还是0到1之间的数值。分数越接近1表示模型越好。

其代码实现如下：


def mean_reciprocal_rank(rs):"""Score is reciprocal of the rank of the first relevant itemFirst element is 'rank 1'.  Relevance is binary (nonzero is relevant).Example from http://en.wikipedia.org/wiki/Mean_reciprocal_rank>>> rs = [[0, 0, 1], [0, 1, 0], [1, 0, 0]]>>> mean_reciprocal_rank(rs)0.61111111111111105>>> rs = np.array([[0, 0, 0], [0, 1, 0], [1, 0, 0]])>>> mean_reciprocal_rank(rs)0.5>>> rs = [[0, 0, 0, 1], [1, 0, 0], [1, 0, 0]]>>> mean_reciprocal_rank(rs)0.75Args:rs: Iterator of relevance scores (list or numpy) in rank order(first element is the first item)Returns:Mean reciprocal rank"""rs = [np.asarray(r).nonzero()[0] for r in rs]return np.mean([1. / (r[0] + 1) if r.size else 0. for r in rs])

从注释中可知，rs = [[0, 0, 1], [0, 1, 0], [1, 0, 0]]表示正确答案的位置，比如第一个问题正确答案在位置3；第二个问题正确答案在位置2；第三个问题正确答案在位置1。

np.nonzero()返回非零元素的位置，可能有多个，因此返回的是数组。但这里实际上只有一个，nonzero()[0]得到它的位置。

rs = [[0, 0, 1], [0, 1, 0], [1, 0, 0]]
rs = [np.asarray(r).nonzero()[0] for r in rs]
rs

[array([2]), array([1]), array([0])]

这里表示我们只关注模型返回的前3个最相似问题，其中正确答案分别在位置3，位置2，和位置1。

np.mean([1. / (r[0] + 1) if r.size else 0. for r in rs])

0.611111111111111

如果某个结果中一个正确答案都没有，那么它的大小(size)就是0，得分就是0。否则得分为位置的倒数(索引才0开始，加1变成了位置)。

参考

https://gist.github.com/bwhite/3726239

NLP中的对话机器人——模型的评估相关推荐

NLP中的对话机器人——预训练基准模型
引言本文是七月在线<NLP中的对话机器人>的视频笔记,主要介绍FAQ问答型聊天机器人的实现. 场景二上篇文章中我们解决了给定一个问题和一些回答,从中找到最佳回答的任务. 在场景二中,我 ...
NLP中的对话机器人——问答机器人的应用场景
引言本文是七月在线<NLP中的对话机器人>的视频笔记,主要介绍FAQ问答型聊天机器人的实现. FAQ问答机器人 FAQ就是一些常见问题与回答,比如https://letsencrypt. ...
自然语言处理NLP星空智能对话机器人系列：第21章：基于Bayesian Theory的MRC文本理解基础经典模型算法详解
自然语言处理NLP星空智能对话机器人系列: 第21章:基于Bayesian Theory的MRC文本理解基础经典模型算法详解 1,Bayesian prior在模型训练时候对Weight控制.训练速度 ...
自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理基于BERT模型微调实现句子分类
自然语言处理NLP星空智能对话机器人系列:深入理解Transformer自然语言处理基于BERT模型微调实现句子分类目录基于BERT模型微调实现句子分类案例实战 Installing the H ...
自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 GLUE MRPC
自然语言处理NLP星空智能对话机器人系列:深入理解Transformer自然语言处理 GLUE MRPC 目录 Microsoft Research Par aphrase Corpus(MRPC) ...
自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 SRL
自然语言处理NLP星空智能对话机器人系列:深入理解Transformer自然语言处理 SRL 目录 The architecture of the BERT-based model SRL exper ...
自然语言处理NLP星空智能对话机器人系列：NLP on Transformers 101 GavinNLP星空对话机器人Transformer课程片段1：Transformer架构内部的等级化结构及其
自然语言处理NLP星空智能对话机器人系列:NLP on Transformers 101 GavinNLP星空对话机器人Transformer课程片段1:Transformer架构内部的等级化结构及其 ...
自然语言处理NLP星空智能对话机器人系列：第4、5、6、7次星空智能对话机器人Zoom线上演示安排
自然语言处理NLP星空智能对话机器人系列:第4.5.6.7次星空智能对话机器人Zoom线上演示安排月是故乡明.祝福大家和家人中秋节一切喜悦圆满由于过节等因素,需要把9月19号的在第4次星空智能对话 ...
自然语言处理NLP星空智能对话机器人系列：NLP on Transformers 101 第16章：Kaggle BERT比赛CommonLit Readability Prize赛题解析
自然语言处理NLP星空智能对话机器人系列:NLP on Transformers 101 第16章:Kaggle BERT比赛CommonLit Readability Prize赛题解析第16章: ...

NLP中的对话机器人——模型的评估

引言

模型的评估

MRR

参考

NLP中的对话机器人——模型的评估相关推荐

最新文章

热门文章