复现计算机论文模型,COLING 2018 最佳论文解读:序列标注经典模型复现
原标题:COLING 2018 最佳论文解读:序列标注经典模型复现
在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考。
在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果。
这是 PaperDaily 的第 86篇文章
本期推荐的论文笔记来自 PaperWeekly 社区用户@handsome。这篇论文是 COLING 2018 的 Most reproducible Paper。作者用 PyTorch 实现了一个统一的序列标注框架,重现了 CoNLL 2003 English NER、CoNLL 2000 Chunking 和 PTB POS tagging 这三个数据集上不同模型的的表现。值得一提的是,基于这个统一的框架,作者对一些已有工作的一些不一致的结论进行了反驳,提出了一些新的看法。对于实践者而言,这篇论文还是很有借鉴意义的。
关于作者:梁帅龙,新加坡科技设计大学博士生,研究方向为自然语言处理。
■ 论文 | Design Challenges and Misconceptions in Neural Sequence Labeling
■ 链接 | https://www.paperweekly.site/papers/2061
■ 源码 |https://github.com/jiesutd/NCRFpp
引言
这篇论文是 COLING 2018 的 Best Paper 之一 “Most Reproducible Paper”,论文基于的 PyTorch 代码框架 NCRF++ 也收录于 ACL 2018 的 Demo Paper。
作者用一个统一的序列标注框架实现了不同模型架构在 NER, Chunking, POS Tagging 数据集上的表现,并对已有工作的一些不一致的结论进行了检验,发现了新的结论。代码在 Github 上已经开源,使用文档也非常详尽,做序列标注的童鞋们又多了一把利器可以使用。
任务
CoNLL 2003 英文的命名实体识别 (NER)
CoNLL 2000 Chunking
PTB POS Tagging
模型
字符序列表示
在词的表示方面,本文摒弃了基于传统的特征的方法,直接使用词本身的信息进行编码。除了词向量以外,为了更好地对那些不常见的词编码,文章使用 LSTM 或者 CNN 对构成词语的字符进行编码。
词序列表示
在整个句子级别,文章同样使用 LSTM / CNN 对构成句子的词语的表示进行上下文的编码。
预测层
获取了每个词的上下文表示之后,在最后的预测层,文章使用了基于 Softmax 的和基于 CRF 的结构。和 Softmax 相比, CRF 往往更能有效地结合上下文的标签的依赖关系进行预测。
实验结果
NER的实验结果
Chunking的实验结果
POS Tagging的实验结果
从以上结果来看,字符序列的表示方面,CNN 和 LSTM 的结果差别不大;词序列的表示方面,LSTM 的结果比 CNN 的稍好一些,说明全局信息的有效性;预测层方面,POS Tagging 任务的 CRF 和 Softmax 表现相当,但是 NER、Chunking 的 CRF 的结果要比 Softmax 好一些。相比 POS 的tags,BIE 标签之间的依赖关系可能更容易被 CRF 所建模。
其他
这篇文章也检验了预训练的词向量的不同(GloVe/SENNA),标注体系的不同 (BIO/BIOES),运行环境的不同(CPU/GPU),以及优化器的不同 (SGD/Adagrad/Adadelta/RMSProp/Adam)对结果的影响。感兴趣的同学可以查看论文原文。
最后
本文代码已开源,使用非常方便,也可以加自定义的 feature,几乎不用自己写代码就可以使用了。
本文由 AI 学术社区 PaperWeekly 精选推荐,社区目前已覆盖自然语言处理、计算机视觉、人工智能、机器学习、数据挖掘和信息检索等研究方向,点击「阅读原文」即刻加入社区!
点击标题查看更多论文解读:
AI活动推荐
中国人工智能大会 CCAI 2018
AI领域规格最高、规模最大
影响力最强的专业会议之一
热点话题√核心技术√科学问题√
活动时间
2018年7月28日-29日
中国·深圳
▼
关于PaperWeekly返回搜狐,查看更多
责任编辑:
复现计算机论文模型,COLING 2018 最佳论文解读:序列标注经典模型复现相关推荐
- COLING 2018 最佳论文解读:序列标注经典模型复现
在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考. 在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果. 点击本文底部的「阅读原文」即刻加入社区 ...
- ACL 2018最佳论文公布!计算语言学最前沿研究都在这里了
国际计算语言学协会 (ACL,The Association for Computational Linguistics),是世界上影响力最大.最具活力的国际学术组织之一,其会员遍布世界各地.ACL ...
- 自然语言处理顶会COLING 2020最佳论文等三项大奖出炉 | AI日报
自然语言处理顶会COLING 2020最佳论文等三项大奖出炉 12月8日至13日,第28届国际计算语言学会议(COLING 2020)在线上正式举行. 计算语言学国际会议COLING 2020(是计算 ...
- ECCV 2018最佳论文解读:基于解剖结构的面部表情生成
在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考. 在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果. 点击本文底部的「阅读原文」即刻加入社区 ...
- 祝贺| 蚂蚁金服年轻交互设计师陈凯翔,荣获HCII 2018 最佳论文奖
小蚂蚁说: 科技作为21世界最重要的关键词之一,本身就是自带光环的存在,而作为人们畅想未来科技生活最为直观的方式,众多的科幻作品也一直为科技迷们所津津乐道.从经典科幻电影<她>.<人 ...
- RS笔记:深度推荐模型之多任务学习PLE模型 [RecSys 2020 最佳论文 腾讯]
RS笔记:深度推荐模型之多任务学习ESMM模型(多目标优化模型,同时优化CTR和CVR) [SIGIR 2018 阿里妈妈] RS笔记:深度推荐模型之多任务学习MMoE模型 [KDD 2018 谷歌] ...
- ACL最佳论文提出最新NLP模型测试方法,最佳论文提名也不可小觑
译者 | 刘畅 出品 | AI科技大本营(ID:rgznai100) 导读:近日,ACL 2020公布了最佳论文奖,另有两篇最佳论文荣誉提名奖也各自提出了解决NLP领域问题的创新方法. 最佳论文:Be ...
- 硬核NeruIPS 2018最佳论文,一个神经了的常微分方程
机器之心原创 作者:蒋思源 这是一篇神奇的论文,以前一层一层叠加的神经网络似乎突然变得连续了,反向传播也似乎不再需要一点一点往前传.一层一层更新参数了. 在最近结束的 NeruIPS 2018 中,来 ...
- CCKS 2018 | 最佳论文:南京大学提出 DSKG,将多层 RNN 用于知识图谱补全
本文转载自公众号:机器之心. 选自CCKS 2018 作者:Lingbing Guo.Qingheng Zhang.Weiyi Ge.Wei Hu.Yuzhong Qu 机器之心编译 参与:Panda ...
最新文章
- 同样在JavaScript中
- linux常见命令汇总
- 题解 P1918【 保龄球 】python和C++
- 多协程实例讲解(四 Python)
- 计算机从业者的技术成长学习之路
- 提高收益 酒店大数据之客户数据收集
- Android工程模块化平台的设计
- 聊聊storm的PartialKeyGrouping
- Navicat for MySQL出现1030-Got error 28 from storage engine错误
- iOS网络开发(5)请求的缓存
- springmvc执行原理(基于组件)
- JSON 解析之 GSON
- java getdate和getday,Date类的getDay()和getDate()方法
- firewall和企业级的Open ViP服务
- 解决远程连接服务器没有远程桌面授权服务器的许可证问题
- 电脑端微信双开、N开
- 第二届全国智能制造(中国制造2025)创新创业大赛华南人工智能专项赛决赛圆满举办
- 西北乱跑娃 --- python命令行换源配置
- dmx512 java,stm32 DMX512核心代码
- js php计算器编程,js 计算器实现