Why SemEval?

在具体介绍 SemEval 之前，我们先弄清楚为什么要举办这样的一个研讨会。我们知道 NLP 是一个很有难度的领域，这一领域的终极目标即可以让机器像人一样理解、处理语言，而想做到这一点需要让机器弄明白语言的意思（meaning），也即 Semantics 。那么每年技术都有进步，我们距离最终的目标还有多远呢？为了了解当前机器的水平，合理、有效的评估就很重要了，这也是 SemEval 要做的事。

Introduce of SemEval

现在我们知道 SemEval 研讨会是为了评估语义，那么如何有效的评估呢？SemEval 是如何做的呢？其实既然是评估机器的能力（和人类的差距），那么比较自然的想法就是让机器和人做同一件事，然后基于此评估。有了大致思路，下面给出 SemEval 评估的流程：

图1（源自维基百科）

其实最开始一步在图中没有体现，因为我们知道语义这个词还是很宽泛的，毕竟人类在不同情景下理解语义的方式也不同（或者说侧重点不同，比如在看弹幕时我们优先想“梗”，而在女朋友生气时我们优先思考女友语言的“反义”，等等），可以说在很长一段时间里机器都没办法统一的处理所有情况（理解语义）。

基于上述，可知要想评估需要先给定任务，所以 SemEval 第一步工作即设置任务。
构造人工标注的数据集。
机器在相应数据集完成任务。机器处理的方案由许多人员或团队提出。
最后根据各个方案得到的结果评分以及估计 SOTA (state of the art)。

补充

SemEval 每年的任务和方案其实各自都可以看作是一个比赛，由报名参赛的人员或团队提供。（任务是近年才采用这种形式的）。

References

[1] 维基百科 SemEval
[2] SemEval: International Workshop on Semantic Evaluation

SemEval 介绍相关推荐

SemEval 情感分析主流数据集以及任务介绍
SemEval 的发展: SemEval 数据集完成基本任务是推特的情感分析(Sentiment Analysis in Twitter).对于推特的文本情感分析基于SemEval 数据集始于2013 ...
【关键词提取】第二篇：数据集、实现代码介绍
原文地址:http://www.cnblogs.com/lessmore/category/1009890.html 转载请保留本行,欢迎交流. 目录: 第一篇:综述第二篇:数据集.实现代码介绍第 ...
信息抽取数据集和相关SOTA介绍
一.概览模型 NYT*/NYT WebNLG*/WebNLG ACE ACE05 ACE04 SciERC TPLinker 91.9/92.0 91.9/86.7 TPLinkerPlus:htt ...
简单介绍互联网领域选择与营销方法
在我看来,互联网领域的选择是"安家",而营销方法的不同则表现了"定家"的方式多种多样,只有选对了,"家"才得以"安定". ...
常用开源协议介绍以及开源软件规范列表
1. 开源协议介绍 GPL: General Public License,开源项目最常用的许可证,衍生代码的分发需开源并且也要遵守此协议.该协议也有很多变种,不同变种要求会略微不同. MPL: MP ...
python：Json模块dumps、loads、dump、load介绍
20210831 https://www.cnblogs.com/bigtreei/p/10466518.html json dump dumps 区别 python:Json模块dumps.load ...
pytorch学习笔记（九）：PyTorch结构介绍
PyTorch结构介绍对PyTorch架构的粗浅理解,不能保证完全正确,但是希望可以从更高层次上对PyTorch上有个整体把握.水平有限,如有错误,欢迎指错,谢谢! 几个重要的类型和数值相关的 T ...
Python字节码介绍
了解 Python 字节码是什么,Python 如何使用它来执行你的代码,以及知道它是如何帮到你的. 如果你曾经编写过 Python,或者只是使用过 Python,你或许经常会看到 Python 源代 ...
Pytest - 使用介绍
1. 概述 pytest是一个非常成熟的全功能的Python测试框架,主要特点有以下几点: 1.简单灵活,容易上手,文档丰富: 2.支持参数化,可以细粒度地控制要测试的测试用例: 3.能够支持简单的单 ...

SemEval 介绍

文章目录

Why SemEval?

Introduce of SemEval

补充

References

SemEval 介绍相关推荐

最新文章

热门文章