25年了,我总结出这些信息提取的经验教训
作者 | Ehud Reiter
译者 | 夕颜
出品 | AI科技大本营(ID:rgznai100)
【导读】近日,本文作者阿伯丁大学计算科学系教授 Ehud Reiter 及其带领的阅读小组读了一篇让他们印象深刻的论文——由 Ralph Grishman 发表的《信息提取 25 年》(25 Years of Information Extraction) 。在这篇论文中,格里什曼(比本文作者更长寿,1973 年获得博士学位)总结了 1994 年至 2019 年之间 NLP 子领域信息提取(IE)研究发生的改变,即从自然语言文本中提取结构化信息,并列出了他认为非常有趣的一些观点,他建议大家读一下这篇论文,肯定会受益匪浅。
重大但不惊人的进展
Grishman 在第 686 页提到:
经过 25 年的发展,其性能(F 分数)仅在标准事件分类基准上从 60 多分提高到 70年 多分。
换句话说,过去 25 年中 NLP 的所有一般性进展(机器学习、深度学习、语料库、计算能力的显著提高),加上 25 年以来许多非常聪明和敬业的研究人员对 IE 的专注研究,大大改善了 IE 的性能。但是,它们并没有因此我们在此期间在语音识别和机器翻译方面看到的“数量级”改进。
NLP 是一个广阔的领域,NLP 社区在过去 25 年中开发的一系列技术(包括深度学习 NLP)在NLP 的某些领域产生了巨大的影响,但在其他领域却没有这种影响。如果我们的目标是从整体上“破解” NLP,那我们需要继续探索新的想法,同时要摒弃最新的时髦想法(1994 年的流行语法,2019 年的深度学习)可以解决所有问题。
研究人员不喜欢复杂的评估
传统上,信息提取是根据精度、召回率和 F 值进行评估的。在第 685 页上,Grishman 描述了ACE 评估模型的命运,这是美国政府资助机构试图引入一种更实用的评估指标的尝试。但是除了向美国政府提交正式报告,研究人员一般拒绝使用 ACE。在学术论文中,他们坚持用召回、精度和 F 值。Grishman 猜测这是因为 ACE 很复杂,对研究人员来说不直观,也可能是因为“事件的原始值得分 低于 15%,在报告里使用这么低的分值让参与者感到尴尬”。
这使我想起了美国政府资助机构(如 DARPA)为了让研究人员使用更复杂、更现实的评估方法的尝试。他们试图让综述研究人员使用金字塔评估(https://www.aclweb.org/anthology/N04-1019/)。这是一种复杂的评估方法,需要人工注释测得摘要内容的质量(而不仅是表面形式)。我喜欢金字塔,但综述社区却不喜欢,我想是因为这种方法在 2019 年很少有人使用,而简单的ROUGE 指标仍然很强大。资助者试图让机器翻译研究人员评估机器翻译系统,以承担将机器翻译文本后期编辑为可接受的翻译所需的工作量(例如,基于任务的外部度量)。我认为 TER 和HTER 仍然有人在用,但是 BLEU 的使用多得多。
简而言之,即使是诸如 DARPA 之类的资助机构,也难以促使学术研究人员采用诸如 ACE、金字塔和 HTER 之类的评估技术,这些评估技术虽然非常复杂,通常需要人工,但得出的结果却可以更好地预测实际效用。在 NLP 中,人们偏向于简单、容易、便宜的评估方法,这些评估不需要人工注释,例如 BLEU、ROUGE 和 F 值,即使这些评估方法不如其他方法有意义。
语料库与规则
我观察到的另一个现象,是在没有语料库的情况下对使用规则与机器学习构建的系统进行比较,因此语料库构建必须包含在机器学习方法中。
Grishman 在第 683 页表示:
人工准备图案需要相当高的技巧和洞察力,但可能会产生相对干净的(高精度)系统。带注释的语料库的准备可能不需要那么多的技能,但需要更长的时间。
简而言之,编写规则会更快,并让导致系统更完善,但是它要求能够编写规则的高技能人才获得访问权限。为机器学习创建语料库需要更多的时间,并且会导致系统 bug 频出,但是我们可以用技术相对不那么熟练的人工来做到这件事。
NLG 是另一个语料库非常稀缺的领域。我通常认为在这样的环境下创建语料库是很愚蠢的,因为知道自己在做什么的人(像我一样)可以编写必要的规则,而不能为机器学习注释足够大的语料库。但是 Grishman 是正确的,在许多情况下,熟练的 NLP 劳动力是一种稀缺资源,但是不熟练的注释器很便宜,且可以通过 Mechanical Turk 或(如果需要更高质量的话)向低薪国家外包商业注释服务,从而大量使用。
本文还有许多其他有趣的见解和观察,我建议大家自己看一下!
论文链接:
https://www.cambridge.org/core/journals/natural-language-engineering/article/twentyfive-years-of-information-extraction/0E5BB0D6AE906BB3C25037E2D74CA8F3
原文链接:
https://ehudreiter.com/2020/01/02/25-years-of-information-extraction/
(*本文为AI科技大本营翻译文章,转载请微信联系1092722531)
◆
精彩推荐
◆
2020年,由 CSDN 主办的「Python开发者日」活动(Python Day)正式启动。我们将与 PyCon 官方授权的 PyCon中国社区合作,联手顶尖企业、行业与技术专家,通过精彩的技术干货内容、有趣多元化的活动等诸多体验,共同为中国 IT 技术开发者搭建专业、开放的技术交流与成长的家园。未来,我们和中国万千开发者一起分享技术、践行技术,铸就中国原创技术力量。
【Python Day——北京站】现已正式启动,「新春早鸟票」火热开抢!2020年,我们还将在全国多个城市举办巡回活动,敬请期待!
活动咨询,可扫描下方二维码加入官方交流群~
CSDN「Python Day」咨询群 ????
来~一起聊聊Python
如果群满100人,无法自动进入,可添加会议小助手微信:婷婷,151 0101 4297(电话同微信)
推荐阅读
集五福,我用Python
2019中国Python开发者调查报告
AI 没让人类失业,搞 AI 的人先失业了
为什么 k8s 在阿里能成功?| 问底中国 IT 技术演进
好扑科技技术副总裁戎朋:从海豚浏览器技术负责人到区块链,揭秘区块链技术之路
-
你点的每个“在看”,我都认真当成了AI
25年了,我总结出这些信息提取的经验教训相关推荐
- 离开硅谷11年后总结出的4条经验教训
作者:小昭,英国top10名校毕业,玩过音乐,在硅谷搞过互联网,目前回国创业中,本文来自作者投稿!来自:http://seekflare.com/post/45 Opportunity, succes ...
- 25匹马,找出最快的3匹,但是只有5个赛道,每次比赛只能得到5匹马的速度排序,那么最少需要多少次比赛
笔试题:25匹马,找出最快的3匹,但是只有5个赛道,每次比赛只能得到5匹马的速度排序,那么最少需要多少次比赛 在网上搜了下答案,好像不靠谱. 最后在英文网站上找到正确的答案:? 次 参考:http:/ ...
- 【云音乐】从手游APP到云音乐视频标签分类,时隔3个月再次面对多标签任务,终于摸索出了一些小经验。附自定义评估函数代码
[云音乐]从手游APP到云音乐视频标签分类,时隔3个月再次面对多标签任务,终于摸索出了一些小经验. 前言 一个好用的评估函数 常用的多标签任务评估函数 我选择平均准确率 合理的特征处理和模型 特征处理 ...
- 25匹马,找出最快的3匹,只有5个赛道,每次比赛只能得到5匹马的速度排序,最少需要多少次比赛
红色可以看做预测第一名 绿色可以看做预测第二名 蓝色可以看做预测第三名 小组第一 小组第二 小组第三 小组第四 小组第五 小组A A1 A2 A3 A4 A5 小组B B1 B2 B3 B4 B5 ...
- 我当了二十几年总经理,总结出这10条经验,看懂了你将少走些弯路
https://www.toutiao.com/a6693396268128928264/ 2019-05-24 22:31:00 很多管理者眼睛往往是向外看,一直盯着员工,觉得员工这要提升,那要改进 ...
- JavaScript初体验之冲出迷雾,我四个多小时的经验教训_AX
当JavaScript与ASP.NET结合,一些神奇的事件就发生了. 垃圾玩意,上传个图片都上传不了,........我用文字叙述吧! [需求] 一个html文本框(客户端控件),一个Button(服 ...
- 【讲座笔记】听了几位前端前辈的讲座,我总结出这些的学习经验
文章目录 一.前端的范畴 二.如何学习前端 三.如何学习后端 四.前端框架的认识 五.企业招聘的认识 六.工作阶段如何成长 一.前端的范畴 网页开发是公认的前端开发,App客户端开发.桌面应用的开发也 ...
- 华为十年,总结出的12条经验!徐是一级部门总监,华为副总裁,
来源:http://bbs.csai.cn/bbs/view.asp?id={3FDEBF8F-AC67-4FB9-AC85-581EEA5948FF} 踏实.勤奋的华为人,可能不足以描述华为人,但他 ...
- 禁止浏览器自动弹出账号密码的经验分享
如题,在vue的技术架构上的实现,这是其中的一种方式: input 元素 type = text; 将输出的明文字符转换成密码符号 • : 如下以 vue 编码: <el-inputid=&qu ...
最新文章
- 从零开始学_JavaScript_系列(14)——dojo(7)(饼图,BorderContainer,hashchange,弹窗)...
- qfiledialog的取消_QT对话框去掉帮助和关闭按钮
- python3版本无法加载reload解决办法NameError: name 'reload' is not defined
- nssl1257-A【数论】
- js 闭包函数 构造函数_JavaScript中的闭包,库里函数和酷抽象
- jQuery查找标签--选择器,筛选器,模态对话框, 左侧菜单栏
- 报错,void AcceptAndReadAvailableTracks(const QString param, int timeout)
- 从GPU到3D渲染:游戏图形渲染技巧与性能优化
- python的tab自动补全
- python和c++哪个好-python和C++语言哪个好?老男孩教育
- 吐血推荐珍藏的Chrome插件
- adb 命令获取ip和mac地址
- 方正平台(企业级应用的开发平台)
- 电商用户行为分析-大数据
- reverse-polish-notation
- Objective-C小白入门:什么是Objective-C
- 运动想象,脑电情绪等公开数据集汇总
- Resid------set
- linux 之top命令详解
- 10 竞争神经网络与SOM神经网络matlab参考程序